与此同时，由于隋炀帝的暴虐统治，全国各地农民起义风起云涌，有的隋军将领也割据一方。天下沸腾，群雄割据，全国有100多支反隋大军。这些力量后来逐渐走向联合，形成了以李密、翟让领导的瓦岗军，杜伏威领导的江淮起义军，窦建德领导的河北起义军三支主要力量。隋炀帝杨广的统治已岌岌可危，处在风雨飘摇之中。
在农民起义风起云涌的同时，隋朝内部也分崩离析。李渊目睹动荡不安的天下局势，从中看到了举兵起事的时机。
617年2月，马邑人刘武周起兵，杀太守王仁恭，自称天子，国号定阳。已经在晋阳精心准备了一年的李渊以讨伐刘武周为借口开始招募军队，没几天就有近万人加入李渊直接控制的军队。同时，秘密派人前往河东和长安召集长子李建成、四子李元吉以及女婿柴绍前来太原会合。
李渊的行动，引起太原副留守王威和高君雅的怀疑，这两个人实际上是隋炀帝派来监视李渊的，他们见李渊大集兵力，试图暗害李渊。617年5月15日早晨，李渊当机立断先发制人，召王威、高君雅到晋阳宫议事，然后以勾结突厥谋袭晋阳的罪名将他们拘押。三天后，一支突厥军队戏剧性地出现在晋阳城外，一队嚣张的轻骑兵甚至策马从北门飞驰而入，又从东门扬长而去。李渊于是将王威、高君雅处死，悬首示众。杀掉隋炀帝任命的副留守，标志着李渊正式与隋炀帝决裂。
突厥，是古代中国北方的一支强大力量。从北朝后期以来，突厥频繁为患中国，北周、北齐当时都无力与之对抗，采取了对突厥的和亲笼络手段，还馈赠以大批钱物。突厥的他钵可汗曾得意地对属下说：“只要我在南边的两个孩儿(指北周、北齐)常常孝顺我，我哪用愁没有钱花呢。”隋朝时，由于突厥内部争斗，隋文帝才得以乘间招抚。但终隋一朝，也始终不敢对突厥掉以轻心。
早在大业十一年(615年)时，隋炀帝在雁门(今山西代县)为突厥始毕可汗围困，幸亏得太原兵马所救。其后隋炀帝命李渊统领太原兵马，与马邑郡守王仁恭成犄角之势，共同备边，也是为了防备突厥这一外患。
隋末离乱，突厥力量又更强盛，史书上说它“控弦之士四10万”，势陵中夏。当时起兵反隋的各支割据势力如薛举、窦建德、王充、刘武周、梁师都、李轨、高开道之徒，虽然都自立为王，但都称臣于突厥，受其可汗之号，成为突厥的附庸。
到617年5月，杀掉王威和高君雅，消除了内患之后，李渊也不得不考虑如何处理与突厥的关系，更何况此时正有突厥军队进入太原。危机时刻，李渊和将士严密防守，对付突厥。他命裴寂和刘文静坚守城防，同时又让大门洞开，城墙上也不树旗帜。李渊又派兵半夜出城，早晨改道进城，使突厥误以为是援兵到达。同时告诫城外将士，就是碰到突厥兵也不要与之作战，只要避开其兵锋，让他们离开太原边境即可。这一系列小动作让突厥军队不明底细，只好退兵。
晋阳城外的突厥军队虽然被李渊用疑兵之计迫退，但要想在起兵之后有一个稳定的后方，不致遭到突厥的袭击而腹背受敌，就必须认真解决与突厥的关系。更何况，突厥支持的刘武周已经占据了太原以北地区，不管是突厥还是刘武周，他们要进攻太原，就如同到邻家散步，实在太容易了。这就是说，如果李渊进攻长安，他的太原后院根本不安全。李渊一生谨慎，思考周密，他可不希望后院失火。
李渊决定与突厥联合。为此，他特地派遣刘文静出使突厥。临行前，李渊亲自给突厥可汗写了一封信，向可汗说明自己将维护大义，要出兵到江都迎接隋炀帝回来，而且要恢复隋朝和突厥的和亲政策，希望得到可汗的支持。信中还大手笔开出了优厚条件：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”
信末用了“李渊启”这个字样。《资治通鉴》称之为“卑辞厚礼”，随信可能还附有贵重礼物。当时就有人提出反对意见：反正突厥不懂汉文，可以不必用“启”字，用“书”这样对等的称呼就可以了。李渊说：“你们怎么这么不明白事理呢？一个‘启’字能值多少钱？如果能换来‘一人之下，万人之上’的结果，又何必介怀于‘书’、‘启’之别。再说了，突厥现在势力方强，就是他们想要千金，我们也得给，何况一个‘启’字呢！”
李渊这番话，充分展示了一个成熟政治家的老谋深算与审时度势。就当时情势来看，突厥对于李渊，不外是支持还是反对两个方面。如果突厥支持，至少有三方面的好处：首先，最小的好处是突厥可以提供军马；其次，突厥可以保障太原的后方安全；最后，突厥军队加入，可以增加李渊军队的威力。如果突厥反对，后果只有一个：李渊腹背受敌，进退失据。综合各方面因素，当时唯一的选择就是联合突厥，以图中原大业。
突厥始毕可汗得到李渊之信，大喜，派人回复李渊，说愿意支持李渊自作天子。在周围谋士裴寂、刘文静及儿子李建成、李世民等人的推动下，李渊与突厥的联盟建立起来了。
时机已然成熟。617年6月，李渊宣布成立大将军府，自己任大将军，以裴寂为长史，刘文静任司马；并置三军，分为左右：太子李建成为陇西公，为左领军大都督，统率左三统军；次子李世民为敦煌公，为右领军大都督，统率右三统军；以女婿柴绍为右领军府长史。
李家的旗帜，就此树立。
7月，李渊以年方15岁的四子李元吉为镇北将军、太原留守，负责太原一切事宜。自己则亲领3万大军，誓师动兵，改旗易帜，开向关中。同时发布檄文，斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾，“豺狼充于道路”，因此，要废掉昏君隋炀帝，尊其为太上皇，立代王杨侑为皇帝。始毕可汗也派特勤康稍利献马千匹，又遣兵两千骑前来相助。
11月，李渊大军攻克长安。次年3月，宇文化及江都兵变，杀死了隋炀帝，李渊便甩开杨侑，于同年5月称帝，建立唐朝，改年号为武德，定都长安。
对李氏政权来说，太原起兵是历史潮流推动与李渊自身选择相结合的结果，是李渊一生之中最重要的决断与转折。这位壮心不已的51岁才称帝的开国皇帝，一手拉开了大唐盛世的帷幕。
值得一提的是，太原起兵时，在改易旗帜的细节上，李渊集团也有过反复权衡。由于突厥的旗帜是白色，而李渊又称臣于突厥，所以刘文静建议也用白旗，以向突厥示好。李渊不同意，认为那样太突厥化，不利于中原行军，主张白旗之上加大红色，于是军旗杂用红白两色。从这些细节布局的安排，可以看出李渊集团起兵之初的微妙处境。
当然，向突厥称臣只是李渊起兵与唐初积弱之时的权宜之计，李渊、李世民父子都深以为耻。也正因为此，当12年后李靖在定襄突袭战中消灭东突厥并俘虏颉利可汗的消息传来后，已经退位4年的太上皇李渊欣喜异常，在挂满开国功臣画像的凌烟阁宴请群臣，酒酣兴起，李渊亲自弹起琵琶，唐太宗等人随着音乐起舞，为后人留下了一曲父子同心、君臣尽欢的千秋家国梦。
一信夺先机
桃李子，莫浪语。黄鹄绕山飞，宛转花园里。
江南杨柳树，江北李花荣。杨柳飞绵何处去，李花结果自然成。
戌亥君臣乱，子丑破城隍，寅卯如欲定，龙蛇伏四方。十八成男子，洪水主刀傍，市朝义归政，人宁俱不荒。(十八子合成“李”字)
——佚名《桃李子歌》
政治动乱之时，也是图谶兴盛之机。
隋炀帝征辽东的时候，有一方士，名叫安伽陀，号称能解图谶，他对隋炀帝说：“有姓李的人会替代您当皇帝。”为了讨好隋炀帝，他还进一步建议把全天下姓李的人全都杀光，以稳固隋朝江山。
幸亏隋炀帝没有全部采纳他的建议。当时隋炀帝把朝中上下姓李的大臣思量了一番，把怀疑的矛头对准了当时的豪族李浑、李敏，并族灭二家。而真正的取代者李渊，则在这场莫名其妙的屠杀中幸存了下来。
李浑、李敏冤死，但李氏当为天子的谣言并没有止息，反而越传越广泛。人们一边传唱着一首《桃李子歌》，一边期待着新帝王的出现。
李密，就信心满满地以为自己就是《桃李子歌》中所唱的那个将代隋而起的李家天子，而他的竞争对手李渊，为了迷惑李密，也卑辞奉承，恭维李密才是真正应谶的未来天子。
一个高做姿态，一个巧妙掩饰，二人之间的明争暗斗高低立判。
李密，字玄邃，是西魏北周最高统治集团核心成员八大柱国之一李弼的曾孙，父亲死后以父荫而做了隋炀帝的左亲侍。有一次，隋炀帝不经意间注意到这个少年，事后对亲信宇文述说：“这个孩子看起来有点异常，不要让他来做宿卫侍臣。”
过了几天，宇文述找到李密，说：“像你这么聪明的人，应当以才学取官，怎么能屈居宿卫之列呢！”
李密一听此话，大受启发，于是告病在家，一心一意闭门读书。有一次，他正骑着黄牛读书，当时权臣杨素看到了，就追上他问：“这是谁家的书生，这么好学？”李密认出杨素，连忙下牛相拜，并自报家门。杨素问他：“什么书让你这么着迷啊？”李密答：“是《项羽传》。”杨素一听，大为惊异。一番交谈之后，杨素非常赏识这个年轻人。回到家还和自己的儿子玄感等称赞李密，认为自己的儿子们都比不上他。杨玄感于是倾心结交李密，两个人成为好友。
613年，隋炀帝远征高丽，杨玄感在黎阳负责监运粮草。当时天下骚动，杨玄感酝酿着举兵反隋，让人把李密从关中接到自己身边。李密向杨玄感提出三条建议：
一、出奇兵，攻占幽州，把隋炀帝困在辽东，截断隋军和后方联系，其粮草必尽，然后宣布起事，号令天下。这是上策。
二、西入长安，占领关中，这样即使隋炀帝返回，也可凭险拒之。此乃中策。
三、为当今方便计，先攻打东都洛阳，但洛阳防守严密，胜负难料。这是下策。
可惜的是，杨玄感不能理解李密的深谋远虑，他以百官家口并在东都，以及如果经过洛阳而不攻下未免惹人耻笑为由，选择了先攻取近处的洛阳之下策。
由此可见，杨玄感确实如他老爹所言，气度见识比李密差远了。
杨玄感起兵后，曾有人建议他早称帝号，杨玄感征求李密的意见。李密说：“以前陈胜自欲称王，张耳建议他缓一下，结果被疏远；曹操想当皇帝，荀彧觉得不妥，结果也失去了信任。现在我要是不让您称帝，说不定会和张耳、荀彧一样的下场。但我也不想一味阿谀奉承，顺着您的话赞成您称帝。为什么呢？自从我们起兵以来，虽然也取得了一些胜利，但力量还不够强，当务之急应该是早定关中。称帝反而不是现在应该考虑的急事。”
这次，杨玄感采纳了李密的建议，没有先称帝。
引军西入至陕县的时候，杨玄感又想先打下当地的弘农宫，李密谏之曰：“后有追兵，我们应该火速前行，怎么能在这里逗留呢？”玄感不听。结果打了三天还没有打下来，只好再向西行，但这时追兵已经赶到了。玄感遂败。
杨玄感兵败后，李密一直受到官府追捕，过了一段颠沛流离的日子。直到616年，李密才投入到翟让领导的瓦岗军中。
李密的政治谋略在瓦岗军中也很快显露出来。他的到来，使瓦岗军有了重大发展。他主张公开反隋，还说服附近的小股起义军加入瓦岗军，然后又用计打败隋将张须陀。
次年，翟让和李密又率领精兵占领洛口仓，开仓赈济贫困民众。瓦岗军名声大震，众至数十万。
其实，在李密取得这些成就之前，就有人公开倡言李密就是那个将要取代隋炀帝为天子的人。当时有个叫李玄英的人，在各地寻访李密的踪迹，并传言：“只有李密才是可以取代隋家天下的人。”别人问他为什么这么确信。他就解释：“现在民间到处传唱《桃李子歌》，这个‘桃李子’，说的就是逃亡者李氏之子啊！‘莫浪语’的意思是‘密’。除了李密还能指谁？”后来他终于找到李密，忠心事之。
李密的地位水涨船高。翟让也把自己的领导位子让给李密，于是李密称魏公，称元年，建立了行军元帅魏公府，作为统帅瓦岗军的决策机构。
话说瓦岗军在李密的领导下迅猛发展，一路打到了洛阳城下，大批隋军投降。617年春，李密让祖君彦作《移郡县书》，列举了隋炀帝的十大罪状，号召天下之人，包括隋朝官员，共叛暴隋，投身到义军中来。
瓦岗军的形势一片大好。义军领袖李密有着关陇军事贵族的出身，在当时的社会条件下有相当的号召力；而瓦岗军又是当时最具实力的反隋武装。从当时的情况来看，李密集团推翻隋朝，统一全国也不是不可能的。当时很多人确实就是这么认为的：“李氏应为天子”最终将应验在李密身上。
可惜，这只是他们的期许。
史书，人们一定程度上可以打扮装饰它，让它们符合自己的审美观价值观；但历史发展的进程，却有着它不可修改的力量。
李密做天子，在某一个时段似乎将成为可能，但后来的发展却出人意料。
转折，是从何时开始的呢？
形势一片大好的瓦岗军下一步应该采取什么样的行动？
柴孝和建议：仿效当年刘邦先图关中而后霸天下之举，让裴仁基守回洛，翟让守洛口，李密亲率精锐，西取长安。
李密对这个策略并不陌生，因为几年前他也这么向杨玄感建议过，而且这还是他提出的“上策”。对此时，对同样的上策，他竟有了和杨玄感同样的疑虑。
确实，此时他领导的瓦岗军大多是山东人，恐怕不愿意离乡西进。李密不想拿这个来试探自己的威信和号召力。他没有足够的信心。
于是，李密继续与隋军相持在洛阳城下。
就在这时，在瓦岗军内部，李密和翟让展开了一场生死较量。
翟让部将王儒信劝翟让谋算李密，重新夺权。而李密则乘机除掉了翟让及其左右亲信，收服了翟让部将徐世民、单雄信等人。
清除了有异心的翟让，虽然可以在瓦岗军中确立绝对领导地位，但也正因为这场内争，李密失去了进入关中的大好时机。
617年，打起义旗的李渊大军攻克长安，夺得了胜利的先机。
其实李渊在太原起兵时，也曾经利用过《桃李子歌》等宣称“李氏应为天子”的民谣。他常常看着自家军旗，对左右部将笑言：“我呀，应该一飞冲天，不能让这个预言落空啊！”
可见，他也是以未来的李家天子自居的。
