韦福嗣终究逃回洛阳去了。
隋朝左武卫大将军李子雄因事获罪被捕,押送到炀帝的行宫去,他半路上杀掉押送官员,逃亡投奔杨玄感,就劝说杨玄感赶快称帝。杨玄感向李密征求意见,李密说:“秦朝末年陈胜想要称王,张耳劝阻因而被赶走;东汉末年曹操准备要挟献帝赐给衣服、朱户、纳陛、车马、乐则、虎贲、斧钺、弓矢、禾巨鬯等九种器物作为夺取政权的演习,荀彧制止因而被疏远。今天我如果说直话,又怕走上张耳、荀彧的老路;如果阿谀奉承顺着您,又不是我的本意,为什么呢?起兵以来,虽然频频胜利,但到州郡县城,还没有人响应。洛阳的防守力量比较强大,各地的援兵越来越多。您应身先士卒,尽快平定关中,却想急于称帝,为什么要向人们表现器量狭小呢?”杨玄感笑了笑就作罢了。
隋朝将领宇文述、来护儿等人率领军队就要到了,杨玄感问道:“有什么对策?”李密说:“元弘嗣在陇右统帅着强大的军队,如今可以假称他要造反,派遣使者来迎接您,用这个理由率领部队进入潼关,就可以瞒住广大兵众。”于是,带着队伍向西撤退到陕县,杨玄感想围攻弘农宫,李密劝谏说:“您现在哄着广大兵众向潼关撤退,办好这事就得迅速,何况追兵快到,哪能停留!如果前进不能据守潼关,后退又无处可守,广大兵众一旦逃散,用什么保全自己?”杨玄感不听,就去围攻弘农宫,围了三天没能攻克,才带上队伍向西走。到达阌乡县,追兵赶上来了,杨玄感战败,李密秘密地进入潼关,被追捕的人捉住。
当时,隋炀帝在高阳县,李密和他的同伙要被一起押送到那里去,他对同伙们说:“我们的性命,如同早上的露水,如果被送到高阳,一定会被剁成肉酱。眼下在路上,还可想想办法,怎能送去遭受酷刑,而不设法逃避呢!”大家表示同意,他们中多数人带有金钱,李密叫他们亮在押送官员面前说:“我们死后,请用这作为经费安葬,余下的就全部报答你的恩德。”押送官员被金钱利诱,答应了他们。出潼关后,防备逐渐放松,李密请求买来酒菜,每天晚上吃吃喝喝,吵吵闹闹,通宵达旦,押送官员不把这当回事。走到邯郸县,李密等七个人挖穿墙壁逃掉,去投奔平原县的叛军头目郝孝德,郝孝德对他不大尊重,李密就走了。
到淮阳郡,隐姓埋名,自称刘智远,招收徒弟讲学,这样过了几个月,心里闷闷不乐,写了一首五言诗《淮阳感怀》,诗写成后流下了行行泪水。有个觉得他行动异常的人,把这事报告了淮阳太守赵佗,赵佗派人在本郡及其周围各县搜捕他,李密又逃走了。翟让在东郡发动农民起义,因以韦城瓦岗寨为根据地,故称瓦岗军。李密投奔于翟让军中,有人知道李密是杨玄感的逃亡部将,私下怂恿翟让杀害他,翟让就把李密关押在军营之外。
李密通过王伯当用献谋略的办法靠拢翟让说:“如今皇帝昏庸,百姓怨恨,在辽东用光了精锐部队,和突厥断绝了友好关系,眼下正在巡视扬州、越州,撇下了洛阳长安,这也是像刘邦、项羽那样争夺天下的时机。凭您的雄才大略,精兵强将,夺取洛阳长安,消灭凶残势力,那么灭亡隋朝绰绰有余。”翟让听罢大为敬重仰慕,立即释放了他,派他去游说各小股义军,一说就来归降。
李密又向翟让建议说:“现在人马已经很多,但是没有地方弄到粮草,如果长久耽搁下去,就会人困马乏,大敌一到,要不了几天我们就会失败!不如直接夺取荥阳,休整部队筹积粮草,等到兵强马壮,然后去跟别人争夺天下。”翟让认为应当这样。从此攻克金堤关,攻打抢掠荥阳等县城镇,多数被攻克。荥阳太守杨庆和通守张须陀带兵讨伐翟让,翟让曾被张须陀打败过,听说他来了,极为害怕,准备远远地躲避他,李密说:“张须陀骁勇但没有谋略,他的队伍又打了几次胜仗,既骄狂又狠毒,一仗