大业七年（611），滑县（今河南滑县）法曹翟让，不知犯了什么罪，被判刑下狱。当时管狱的小官黄君明同情他，偷偷地把他放了。翟让逃到滑县东南的瓦岗寨，在那里暂时隐蔽起来。恰好这里的农民正酝酿起义，缺乏首领，翟让一到，就被推举为领导者，起义便开始了。翟让的同乡单雄信、东阿人程咬金、浚县大伾山起义的徐世勣和内黄起义的王伯当，也先后统领所部和瓦岗军会合，形成了一支强大的农民队伍。
不久，瓦岗军打下滑县和浚仪（今河南开封市），并西占郑州（今河南郑州市），东据宋州（今河南商丘）一带。曾参与杨玄感反隋的李密，由于杨玄感的失败而到处流浪，他为了寻找个人出路，便投奔翟让。翟让接受李密的建议，主动联合周文举、李公逸等农民军，把他们团结在自己的周围。瓦岗军发展到数万人。
大业十二年（616），瓦岗军从金提关出发，攻取黄河以南几县，打到荥阳外围。荥阳历来是兵家必争的战略要地，荥阳的得失，直接影响中原战局。因此隋炀帝特派河南讨捕大使张须陀为主帅，前来镇压瓦岗军。张须陀曾多次镇压过农民军，他到达荥阳以后，立即和通守杨庆一道调兵遣将，抢占交通要道，妄图阻止瓦岗军前进。
面对隋军进攻的新形势，翟让、李密共同研究了对策。他们分析了敌方情况，根据张须陀骄傲、轻敌的弱点，决定由李密率主力埋伏在荥阳北面的大海寺两翼，翟让率兵从正面进攻。张须陀打败过翟让，非常藐视翟让。翟让把张须陀的两万人马拖到大海寺一带，全部歼灭。张须陀也被迫自杀。
大海寺战役的胜利，使“河南郡县为之丧胆”。瓦岗军威震中原，所到之处，隋军有的望风逃窜，有的开城投降。登封（今河南临汝）、密县（今河南密县）、汜水隋代展子虔《授经图》等地，未动一刀一枪即被农民军占领。大业十三年（617）春天，瓦岗军决定夺取洛口仓。洛口仓又名兴洛仓，在巩县（今河南荥阳县西）东北部，伊、洛两水会合处。仓城周围有20余里，是当时最大的粮仓，城池坚固，常有重兵把守。进攻洛口仓的农民军兵分两路，一路由荥阳向西，从正面进攻。另一路由登封绕到洛口以南，从侧面袭击。两路大军以迅雷不及掩耳之势兵临城下，使隋军弃城逃窜。瓦岗军占领仓城以后，立即开仓放赈。饥民们奔走相告，无不感激！
洛口仓陷落的消息传到江都以后，正在游玩的隋炀帝吓得魂飞魄散，不敢再回东都。驻守东都的越王杨侗，任命裴仁基为河南讨捕大使，并令“虎贲郎将”刘长恭各自领兵，两路夹击瓦岗军。翟让作了针锋相对的部署。双方在巩县东南石子河展开大战。隋军大败，“虎贲郎将”脱下官服，混入士兵队伍，逃回东都。讨捕大使裴仁基投降。
大业十三年（617）二月，瓦岗军正式建立统一的政权。当时在瓦岗内部已混入大量降官，他们具有政治斗争经验，熟悉隋政府内幕，又善于运用各种手段进行拉拢，在农民军中形成一股势力。在这些人的支持下，大贵族李密担任了魏公兼行军元帅，执掌瓦岗军政大权。翟让任上柱国、司徒、东郡公，单雄信任左武卫大将军，徐世勣任右武卫大将军。中原的小股起义军，如王君廓、李士才、魏刀儿、李文相、孟让、郝孝德、王当仁等，都归附瓦岗军。“降者不绝如流，众至数十万。”李密为了巩固基地，令护军田茂广筑洛城，方40里，作为农民军的重要基地。同时派房彦藻向东扩大阵地，攻克了汝南（今河南汝南）、安陆（今湖北安陆）、淮安（今河南泌阳）、济阳（今山东曹县）。
这年四月，瓦岗军积极设法切断东都的补给线，准备夺取东都，此后一年多时间里，双方作战达40余次，最重要的有以下几次战役。
夺取黎阳仓的战役。大业十三年八月，徐世勣、郝孝德、李文相等合力打下了黎阳仓。开仓济贫，扩大影响，远近农民纷纷参加起义，“旬日间得胜兵二十万人” （《通鉴》卷一百八十四义宁元年条）。武安（今河南涉县）、义阳（今河南桐柏）、永安（今山西霍县洪洞）、弋阳（今河南潢川）守吏相继投降。
黑石关战斗后，东都危急。大业十三年七月，炀帝派江都通守王世充率江淮劲旅北上，以解东都之围。同时还令大将王隆、河北大使韦霁、河南大使虎贲郎将王辩等，各领几万人马，协助王世充守卫东都。涿郡通守薛世雄，也奉命领河北精兵3万余人南下。但是，薛世雄军在南下途中被窦建德杀得几乎全军覆没。王隆一军误期未达，实际只有王世充与王辩和瓦岗军周旋。
王世充到达东都以后，先率领韦霁、王辩、庞玉军数万进攻洛口。双方夹洛水相持。十月末，王世充派出一部分人马夜渡洛水，进军瓦岗军的侧后，抢占黑石关，准备两面夹攻农民军。李密发觉隋兵渡河以后，引兵到洛水北岸以截断王世充的后路，但被打败，大将柴孝和坠河而死。不得已，李密又返回洛水之南，部分人马奔向月城。王世充跟踪追击，直指月城。李密部分人马回军黑石关，冲进敌营，连下6个据点。王世充又从月城撤兵，援救黑石关，在途中遭李密伏击，结果被消灭30余人。李密反败为胜。
第三次大战是在这年十一月。王世充失败以后装病，闭门谢客。越王杨侗派人安慰他，叫他继续出战。王世充既惭愧又害怕，搜罗几万残兵败将，向石子河一带进攻。李密最初派一部分队伍在正面进攻，另派王伯当、裴仁基各率众埋伏在两翼。王世充急于求胜，发现瓦岗军后立刻出兵应战，结果被击溃。
第四次大战在武德元年（618）春季。王世充集结7万余人，令部队在洛水架浮桥，渡河与瓦岗军决战。最先登岸的是虎贲郎将王辩的部队，已破李密外围营寨，但后续部队却被另一支瓦岗军打败。王世充以为渡河部队战败，下令撤退。李密令敢死队勇猛追杀。隋兵当时有几万人抢渡浮桥，落水而死者1万余人，大将王辩当场阵亡。王世充不敢回东都，带数千人逃到河阳，自己下狱请罪。越王杨侗遣使宣布赦令，把他召还东都。
炀帝死后，宇文化及在江都立秦王浩为帝，掌握实权。越王杨侗也在洛阳称帝，以王世充为大将，有兵五六万人。
当时全国群雄割据，四分五裂，只有瓦岗军占据中原，势力较强，有可能夺取全国性胜利。但是正在这时候，瓦岗军发生了分裂。恭帝义宁元年（617）十一月，李密以宴请翟让为名，杀掉翟让和他的哥哥翟宏及王儒信等。徐世勣拔腿外逃，在门口被砍一刀。单雄信叩头求饶，李密才放了他。不久，徐世勣、王伯当率一部人回到浚县，驻守大狉山。瓦岗军的势力逐渐衰落。
武德元年六月，宇文化及率10万隋军北上，和窦建德、李密争夺中原。而东都的王世充，此时又集结兵力向瓦岗军进逼，李密腹背受敌，进退两难。就在这月，李密投降了杨侗，被封为太尉、尚书令。
李密降杨侗后，宇文化及进军荥阳以东，企图夺取黎阳仓，消灭徐世勣。由于农民军英勇善战，宇文化及未能得逞。当时李密为了讨好杨侗，率部大败宇文化及于童山下，迫使宇文化及只带两万残兵逃到河北。化及又被窦建德打败。李密打了胜仗，正准备到洛阳领赏，走到半路，王世充发动兵变，强迫杨侗封他为左仆射，又领两万人攻打李密。李密因久战疲惫，内部矛盾很大，偃师一仗，被王世充打败。这时王伯当仍据守河阳，徐世勣还在黎阳，假若李密投奔徐世勣，瓦岗军仍然可能东山再起。但是，他听信隋朝降官的劝告，领两万人降唐，后又反，武德元年（618）十二月被唐将盛彦师设计杀害。
