杨玄感率军奔赴洛阳后,打了几个胜仗,抓获了隋朝的内史舍人韦福嗣,就把机要事务交他办理,从此征战大事不由李密一人主持。韦福嗣本来就不是同伙,每当商议谋略,都持模棱两可的态度。杨玄感后来要他起草布告文书,韦福嗣坚决推辞。李密便对杨玄感说:“韦福嗣本不是志同道合者,实际上抱着观望态度。您刚举义旗,却让奸细留在身边,必然被他误事,不如把他杀了。”可杨玄感不听,李密私下对友人道:“杨楚公喜爱造反却不打算成功,怎么办?我们将会当俘虏了!”后来杨玄感攻不下洛阳,向西进军,韦福嗣终究逃回洛阳去了。
杨玄感的军队被隋朝的追剿大军打败后,李密被抓获,押往隋炀帝驻扎的高阳。李密对同伴道:“我们的性命就像早晨的露水一样,如果被押到高阳,就会被剁成肉酱。”他让同伴们把钱都拿出来,对押解的官差说:“我们死后,用这些钱作为安葬经费,剩下的全部给你们。”官差被金钱所诱惑,防备逐渐松懈。李密让人买来酒菜,每天夜里跟官差吃喝,通宵达旦。走到邯郸时,李密等七人在墙上挖洞逃走。
李密逃到淮阳郡后隐姓埋名,自称刘智远,招收徒弟讲学。有人发现他行为异常,向准阳太守赵佗告发,赵佗派人搜捕他,李密又逃走了,前去投奔瓦岗寨。瓦岗首领翟让身边的人说李密是杨玄感的逃将,怂恿翟让杀了他,翟让就把李密关押在营寨之外。李密让看守自己的王伯当对翟让说:“隋炀帝昏庸无道,攻打高句丽损兵折将,撇下洛阳长安巡视江南,百姓怨声载道,又和突厥断绝了友好关系,眼下正是像刘邦、项羽那样争夺天下的良机。凭您的雄才大略,精兵强将,夺取洛阳长安,灭亡隋朝绰绰有余。”翟让听后大为赞赏,立即释放了他,让他辅佐自己。
在李密的谋划下,翟让攻克了金堤关和荥阳等城镇。隋将张须陀带兵讨伐翟让,翟让曾被张须陀打败过,听说他来了,极为害怕,准备远遁。李密说:“张须陀勇而无谋,他的队伍又打了几次胜仗,骄狂轻敌,一仗就能捉住他。您只管摆开阵势,我来替您打败他。”翟让迫不得已,统领军队御敌,李密分出一千多名士卒埋伏在树林里。翟让开战不利,边打边退,李密派出伏兵到敌后袭击,张须陀的士兵逃散,李密和翟让前后夹攻,大败隋军,张须陀也被斩杀。从此以后,翟让让李密单独统率一支队伍。李密的队伍军容整肃,纪律严明,他本人衣食节俭,得到的金银财宝全都分发给部下,因此人人愿意替他卖命。
后来,李密和翟让趁中原闹饥荒,率军攻克了兴洛仓,开仓赈民,百姓扶老携幼前来取粮,军队迅速壮大到三十万人。翟让推举李密当首领,称作魏公,以洛口为都城,大军在环绕洛口四十里的区域里驻扎下来。李密授予翟让司徒官衔,封为东郡公。任命单雄信为左武侯大将军,徐世勣为右武侯大将军,其余的人各按等级授予官职。