他出生在济宁嘉祥县南关的一个普通的工人家庭，自己从未受过一天专业音乐训练，甚至小时候接触的歌曲，除了《上学歌》，就是《我们的祖国是花园》。终于在二年级的时候，长自己几岁的姐姐拿回家一盘王杰的《回家》，听完这盘磁带以后，他惊讶地想“怎么人家的音乐就这么好听，旋律就这么动人呢？”于是，他便大量购买磁带，听港台音乐，接触最新、最流行的音乐表达形式。

2006年，张卫入伍，成为铁军文工团的一名士兵。在部队里，听着蔡国庆等老一辈军旅歌唱家的歌曲，年轻大胆地他萌生出一个想法——经典的军旅歌曲的确很好听，可是总是觉得有点太“正”。跟年轻士兵的生活有点距离。此外，军旅歌曲除了要好听以外，更应该鼓舞士气，让广大战士听到这首歌之后就能激发出好男儿浴血奋战的豪情。因此，把部队的生活用“说唱”的方式表现出来，不是更合适吗？有了这样的想法后，他随即向团里的领导进行汇报。但意想不到的是，领导义正言辞地予以否决，“说唱这种方式太不严肃，与军人形象不符，你的建议不具操作性！”而后在一次军营表演中演唱《世界最长的歌》，得到领导认可。

部队领导的认可和战友们的支持，张卫的创作之路支持一路坦荡，并且他还为自己这种源自军营、充满男儿豪情的独特说唱模式命名为“铁军说唱”。随后，张卫参演了各大卫视的电视节目，甚至登上了央视的舞台，并且以直接晋级的优异成绩参加了中央电视台《星光大道》。尽管最后，由于部队严禁现役军人参加娱乐节目而无奈放弃。