此后李密又率领单雄信等人打了几场胜仗，瓦岗军的势力达到顶峰，“有众三十余万，东至海、岱，南至江、淮郡县，莫不遣使归密。”正所谓盛极必衰，618年瓦岗军先是在卫州童山与北上的宇文化及决战，实力大损，之后又在偃师与王世充所部决战，瓦岗军败北，李密所部土崩瓦解，单雄信与程咬金、秦叔宝等人投向王世充。王世充封单雄信为大将军。
由于鄙视王世充的为人，秦叔宝、程咬金、徐世勣等原瓦岗军将领先后投奔李世民，只有单雄信不为所动，小说中描述是因为李渊早年间曾误杀单雄信之兄，基本上为虚构情节。不论真相如何，单雄信不投唐是确实事实，唐、郑(王世充的国号)交战，单雄信曾几次差点要了李世民的性命。
620年7月，李世民率领大军攻取洛阳，王世充率3万精兵在慈涧布阵。期间李世民率领“轻骑挑之，时众寡不敌，陷于重围”，单雄信率领“数百骑夹道来逼，交抢竞进”。单雄信挺枪而至，李世民明在旦夕之际，徐世勣大声呵止“此秦王也”。史书记载，“雄信惶惧，遂退，太宗由是获免”，我想杀人无数的单雄信岂会被秦王的名号吓住?更多的因素应该是顾念与徐世勣的兄弟之情，这次才没有痛下杀手。
621年李世民大败窦建德后，再次包围洛阳，期间李世民带领几十个随从在洛阳附近的榆窠打猎。突然遭遇王世充的军队，“单雄信领骑直趋太宗”，或许是不该李世民命绝于此，大将尉迟敬德“跃马大呼，横刺雄信坠马”，掩护李世民杀出重围。单雄信并没有被尉迟敬德杀死，李世民也在一次逃出生天。
