然而平定了孙恩，东晋朝廷也消耗了不少兵力，京防空虚。此时，虎视三吴的桓玄趁机东下，攻入东晋都城。刘牢之被迫自杀，恒玄掌握了兵权。刘裕审时度势，投降了桓玄。桓玄素知刘裕勇猛，因此十分重视他。据说桓玄的妻子见了刘裕以后，见他行止有龙虎之势，看问题不同凡响，不像个没见过世面的乡巴佬，就劝桓玄杀了他，以绝后患。桓玄却想借助刘裕的才能去平定中原，直到后来才后悔错失了这个除掉刘裕的好时机。
军权在手的恒玄逼迫当时的东晋皇帝安帝献上国玺并禅位于自己。公元404年1月1日，桓玄正式称帝，国号楚。说起这个恒玄，也是家世显赫。他出身于东晋四大门阀“王、谢、桓、庾”中的桓家。他父亲就是曾经的东晋的大司马恒温。说起篡位，恒玄大概也是遗传他爹的基因。当年恒温剿灭成汉，统一南方，三次北伐，可谓战功赫赫，权高位重。于是桓温就产生了篡位的想法，正所谓“不能流芳百世，就要遗臭万年”。但是桓温也看到士族中反对他的势力还不小，不敢轻易动手，希望朝廷赐其九锡的愿望也没能实现。兵权由其弟桓冲接掌。不久，就病死，终年62岁。桓温死后，他南郡公的爵位由幼子桓玄继任。恒玄长大后也是野心勃勃，想实现父亲当年未成的心愿，后来终于篡位当上了皇帝。
不过皇帝的位子也不是好坐的。恒玄这边还没坐热，刘裕那边就在自己的老家京口率领一批北府兵旧将聚众造反，而刘毅、何无忌等人也在各地纷纷响应，并推举刘裕为盟主。刘裕很快显示出自己的政治手腕，向四方发出一篇慷慨激昂的檄文，声讨桓玄的罪状，称这位大楚皇帝罪恶超过了当年篡位的王莽、董卓，所以他刘裕才和一班忠义之士，起兵讨逆。又夸张地宣布了反恒势力的一片大好形势。这篇檄文在当时确实起到了收买人心、震慑人心的作用。仅在短短一天之内，一支一千七百余人的讨桓义军已经在京口组建起来，并在刘裕指挥下挥师西进，推进到竹里（今江苏句容北）。他们的人数虽然还很少，但几乎全是由在战场上如狼似虎的北府老兵组成，对力敌千人的刘裕有着绝对的信任和爱戴，对桓玄此前迫害北府旧人的行径深恶痛绝，因而上下一心，士气如虹！
在几百年后的南宋，当一代词雄辛弃疾走到当年刘裕起兵的京口，感慨万千，写下了著名的诗篇《永遇乐·京口北固亭怀古》，其中有这么两句，说的就是刘裕：“斜阳草树，寻常巷陌，人道寄奴曾住。想当年，金戈铁马，气吞万里如虎。”
而此时的恒玄却失魂落魄，手足无措。恒玄身边众人都认为刘裕兵力甚弱，不足为惧，不过是临时凑起的一群乌合之众，还不够他们的大军塞牙缝的。桓玄却说：“刘裕英雄盖世，堪称一代帅才。跟他一起起义的刘毅是个亡命之徒，连饭都没得吃的时候，赌博的时候却敢下百万的赌注，何无忌是一代名将刘牢之的侄子，这三个人聚在一起，后果不堪想象。”
这个失去了主心骨的短命皇帝恒玄倒还真有些见识。果然，当年三月，刘裕就斩杀了桓玄两名骁将吴甫之、皇甫敷。二将战死的消息让桓玄惶恐不安，派遣桓谦等率兵二万进驻建康城外的覆舟山以阻刘裕军。刘裕命令部下吃饱以后，把剩下的粮食全扔了，说：“这一战胜了，就活着；如果打败了，就一起死，没有第三条路！”这颇有当年韩信背水一战的气势，在此激励下，全军怀着决一死战的态势，进至覆舟山。刘裕又派遣那些羸弱的士兵爬到山上遍插旗帜，迷惑敌军。桓谦的士兵多为北府兵，一向畏惧敬重刘裕，毫无斗志。
刘裕把士兵分成几队，突击桓谦军。这时，刮起了东北风，刘裕大喜：“真乃天助我也！这来的简直就是当年周瑜火烧赤壁的东风啊！”于是命令全军顺风纵火，刹那间风助火势，烟雾弥漫，向楚军方向席卷而去。在强烈的攻势面前，桓谦大败，桓玄不敢再战，乘船西逃。
后来，桓玄在西逃过程中，被益州都护冯迁所杀。406年三月，刘裕迎回安帝复位。为奖励刘裕再造晋室之功，刘裕被封为侍中、车骑将军、都督中外诸军事，从此掌握朝政。
东晋偏安江南以来，一直面临来自北方的威胁。祖逖、庾亮、殷浩、桓温都曾先后北伐，但无一成功。公元409年，南燕君主慕容超兵肆虐淮北，掳去东晋两郡太守及百姓千余家。刘裕因此上表要求北伐。同年三月，刘裕挥军北进，讨伐南燕。
从琅邪经大岘山（山东沂水北），直捣临朐、广固，是北伐的捷径，但是，这条道十分险峻，必经之路穆陵关，仅能容一辆车的宽度，有“齐南天险”之称。很多人十分担心，对刘裕说：“如果燕军派人把守大岘山隘，同时坚壁清野，我们贸然前往，不仅不能完成北伐的任务，很可能抛尸荒野。”刘裕却胸有成竹地说：“鲜卑人目光短浅，只图眼前利益。他们以为我们远道而来，十分疲惫，且粮草供养有问题，肯定不能与他们持久对抗。我敢打保票，他们肯定采取进则守临朐，退则守广固的方法，绝对不会守险清野。”
果然，刘裕率军越过大岘山隘，南燕并未派兵把守，大军如下山猛虎一般直扑燕都门户临朐（山东掖县）。刘裕以奇兵直取了临朐。接着，晋军攻占广固外城，刘裕一边修筑长围，一边采取分化瓦解之策，招降纳叛，同时，晋军的北伐，让在鲜卑残暴统治下的各族老百姓非常高兴，纷纷向晋军提供支援，南燕民众每天背负着粮食前来归附刘裕军的不下千人。公元410年二月初五，被围8个月之久广固被攻克，慕容超被生俘，送至建康斩首，南燕灭亡。
南燕刚刚灭亡，此时被招安为广州刺史的卢循和他的妹夫徐道覆率部又叛乱，徐道覆率军从赣江顺流而下。北府名将何无忌迎击，兵败溃散。何无忌阵亡，朝野震惊，大臣们甚至打算保护皇帝北上去刘裕军中。刘裕急忙率领数十亲随昼夜兼程赶到建康，东晋朝廷这才安定下来。但是，刘毅妒忌刘裕功大，不听刘裕劝说，贸然率领驻扎在建康的主力军出战，结果大败于桑落洲，几乎全军覆没。从而造成偌大建康只有几千守军，且多为北伐归来的疲惫之师。而卢循军达到十几万，舟车绵延百里，楼船高十二丈，军势浩荡，这是刘裕对敌交战史中力量悬殊最大的一次。刘裕也不禁大惊失色。然而，刘裕拒绝了大臣逃跑的要求，增修堡垒，加强防御。同时派军进攻卢循的后方根据地番禺。卢循看到建康久攻不下，又知是刘裕守城，不敢再战，逐分兵略地，自己转进江西；分兵攻江陵的徐道覆被刘裕之弟刘道规击败。刘裕见叛军势弱，亲自率领大军攻击卢循，在大雷附近的江面上展开大战，刘裕派轻舟攻击卢军的大船，又用伏兵火攻，卢循大败逃走。卢循一路被刘裕的追兵连败，逃到交州，终被交州刺史杜慧度击败，投水而死。
公元412年，刘裕出兵讨伐刘毅。刘毅兵败自杀。随后，刘裕又相继平定了诸葛长民、司马休之等军事集团。内部平定了，刘裕又派朱龄石前去平定了刚分裂没有多久的西蜀谯纵割据政权。
自此，刘裕消灭南方各大割据势力，统一南方，后方算是完全稳定下来了，实现了东晋南朝史无前有的大一统。刘裕个人被加封为太傅、扬州牧，可以享受“剑履上殿，入朝不趋，赞拜不名”的待遇。在古代，臣子拜见君王必须必须取下佩剑、脱鞋入席，小步快走，自报职务姓名。而刘裕见皇上却可以免去这些礼节。这种待遇可是位极人臣的大员才有资格享受的，汉初名相萧何就享受过这个待遇，但自曹操代汉以后，这三种待遇往往是权臣篡位的前兆。
在刘裕南征北战的岁月了，他逐渐有了一批忠于自己的军士和相当有才干的将领，这也为他以后坐上皇帝宝座打下了坚实的军事基础。这其中最突出的就有两位将军——王镇恶和檀道济。
王镇恶，是前秦名相王猛的孙子，整个南北朝史，祖孙均为杰出的军事统帅的就他们一这对。王镇恶生于五月初五端午节，按当时的观点看，这个出生日期很不吉利，因此他的父亲王休打算把他过继给远亲。祖父王猛知道后阻止说：“当年孟尝君田文也是恶月出生，后来却成为齐国的相国，这个孩子将来也可能兴旺我们王家的门楣。”并亲自给这个男孩取名“镇恶”，以毒攻毒。年纪稍长后，王镇恶虽然不擅长骑马，且射箭的准确度堪比国足射门，但熟读诸子兵书，谋略过人，果决善断，志向远大。前秦败亡时，他流落到渑池人李方家，曾对李方发下大言：“我若遇英雄主，必取万户侯！再回报今日的大恩。”而后，他与叔父王曜一起，南投晋朝，寄居于荆州。
在当年刘裕北伐开始前，有人向刘裕推荐这位王县令有将帅才干，刘裕便特意召见，一番交谈之后，大为欣赏，当晚留他住下彻夜长谈。第二天一早，刘裕对左右感慨说：“我听说将门出将，如今见到王镇恶，方知此言不虚！”当即下令：王县令不用回湖南了，留在自己幕下担任中军参军。后来王镇恶屡立战功，升到龙骧将军。
檀道济世居京口，是刘裕的老乡。檀道济自幼父母双亡，他小时候侍奉哥哥和姐姐，为此受到人们称道。刘裕在京口起兵的时候，檀道济便随两个兄长投奔了他，随其争讨桓玄。在镇压卢循起义的战斗中，檀道济身先士卒，屡立战功。此后不段迁升，一直升到冠军将军。
公元415年，后秦君主姚兴逝世，无能的姚泓继位，内部叛乱迭起，兄弟相残，政权摇摇欲坠，外部与西秦、大夏混战不断，关中大乱。刘裕看准时机，率大军分水陆并进，大举攻伐后秦。
刘裕令龙骧将军王镇恶、冠军将军檀道济领兵作为前锋，由淮、淝转攻许、洛一带，后秦中原各城守将纷纷望风归降，晋军进展神速。龙骧将军王镇恶、冠军将军檀道济领兵由淮、淝转攻许、洛一带，后秦中原各城守将纷纷望风归降，晋军进展神速。十月，檀道济与王镇恶会师，夺取洛阳，俘虏后秦军四千余人。有人提议将俘虏杀死以为“京观”，檀道济不同意，说：“我们讨伐叛逆贼兵，就是为了要拯救百姓啊！”于是将俘虏全部释放。羌族人十分感动，很多人都自愿留下来加入晋军。檀道济的此举，为刘裕进关中打下了良好的基础。
此时，刘裕让儿子刘义隆留守彭城，自己亲率大军向洛阳进发会合前锋部队。刘裕原来命令前锋诸军等待后续大军会合再前进。但王镇恶见后秦内乱更盛，潼关守军薄弱，于是当机立断，不待刘裕大军到达，分兵两路西进。在潼关几番较量之后，王镇恶以少胜多，顺利夺取潼关。
