在镇压孙恩、卢循起义和平定桓玄叛乱过程中，涌现出一位乱世的枭雄，那就是刘宋政权的建立者——刘裕。
刘裕字德舆，小字寄奴，彭城县绥舆里（今江苏徐州市）人，自称是汉高祖弟楚元王刘交之后。曾祖父刘混时迁居到晋陵郡丹徒县京口里（今江苏镇江市）。他父亲刘翘，做晋陵郡功曹，就是郡守的佐官，是一个地位很低的小官，家里也很穷。刘裕出生后，母亲就死了，父亲想把刘裕扔掉，被继母救回养大。长大后，刘裕不认识几个字，靠卖鞋为生，所以说，刘裕属于地主阶级而被称作“寒门庶族”的一个阶层。
东晋末年，天下大乱，已经长大的刘裕为谋求生路，参加了北府兵。他长得高大勇猛，得到冠军将军孙无终的赏识，让他做了司马，即军事参谋。399年（隆安三年），孙恩领导的起义军攻占会稽，东晋朝廷派卫将军谢琰、前将军刘牢之率北府兵前去镇压。刘牢之久闻刘裕勇武之名，便请他到自己帐下做军事参谋。当时刘牢之部下的其他军官，在镇压孙恩起义过程中，到处烧杀抢掠，军纪败坏，只有刘裕约束部下，纪律严明，所过无所侵犯，战斗力较强，充分显示了刘裕的军事才能。他得到上级和朝廷的赏识，在政治上开始崭露头角。
桓玄叛乱后，刘裕正在刘牢之部下做军事参谋，他反对刘牢之投靠桓玄，刘牢之没有听从他的建议，结果被桓玄夺了兵权，刘牢之想去北府兵根据地广陵，与北府兵将领高雅之一起举兵反抗，他私下征求刘裕的意见。刘裕不同意，说如果刘牢之到广陵，他就到京口去。刘牢之见得不到部下的支持，被迫自己上吊而死。
桓玄夺得北府兵权后，杀死北府兵高级将领高素、竺谦之、竺朗之、刘袭、刘秀武、孙无终等，由于刘裕等职务低，不在清洗之列。桓玄为更好地控制北府军，在北府兵中提拔一些中下级军官，让他们为自己效命，刘裕就是提拔的对象。桓玄任命他从兄桓脩为右将军、徐、兖二州刺史，镇京口，掌北府兵，以刘裕为中兵参军，就是高级军事参谋。桓玄想篡夺皇位，想了解一下北府军将士对这件事的看法。桓玄的从兄桓谦单独地问刘裕：“楚王（桓玄）功高望重，四海归心，朝廷大臣们都认为应由楚王来当皇帝，你看怎么样？”
刘裕内心想反桓玄，但不能表露出来，便装作十分恭敬的样子回答说：“楚王是宣武（桓温）的儿子，功高盖世。现在晋室已经衰弱，老百姓对他的信任早就没有了，乘此时机取代他，有什么不行的呢？”桓谦听后非常高兴。
403年（元兴二年）十二月，桓玄废晋安帝，自己登上了皇位。桓玄因刘裕对自己称帝的支持，对刘裕就更加信任了。为了庆贺桓玄做皇帝，桓脩带着刘裕进京祝贺。桓玄见到刘裕，对司徒王谧说：“刘裕风骨不同寻常，实在称得上当今人杰啊！”
桓玄的妻子刘氏见刘裕气度不凡，便对桓玄说应该早点除掉他。
桓玄说：“我正想平定中原，非刘裕，没有能替我完成此大业的，等我平定中原后再除掉他，那时也不晚。”
桓脩要返回京口，刘裕假装创伤发作，不能与桓脩同行。桓脩走后，他与何无忌同船返回，二人商讨了共反桓玄的大计。他们还联络了刘道规、刘毅、孟昶、魏泳之、檀凭之、诸葛长民、王元德、辛扈兴、童厚之等，并约定：刘道规和孟昶是青州刺史桓弘的部将，镇守广陵，由他们二人负责除掉桓弘，占据广陵；诸葛长民占据历阳（今安徽和县）；刘裕、何无忌、魏泳之等杀桓脩，占京口；王元德、辛扈兴在京城聚众进攻桓玄，做内应，各路同时起兵，遥相呼应。
404年（元兴三年）二月二十八日清晨，刘裕与何无忌等27人以打猎为名，聚众一百多人。何无忌穿着传达皇帝诏命的服装走在前面，众人紧跟在后，京口城门一开，他们便一拥而入，齐声大呼，官吏和士兵都吓得不知所措，他们便顺利地杀死桓脩，正式打出了反对桓玄的旗帜。
同一天早晨，在北府军另一根据地广陵，刘毅、刘道规、孟昶等也率十多人，趁城门刚开之际，出其不备，杀死桓脩的弟弟桓弘。这支人马迅速渡江，与刘裕队伍会合一处，合力向建康进军。
建康城内，王元德和辛扈兴等想起兵为内应，不料事情泄露，都被桓玄处死。桓玄闻听刘裕起兵，派桓谦和卞范之率二万军队到复舟山（在建康都城之北）去抵挡刘裕。刘裕大军一路南下，与桓谦、卞范之战于复舟山。刘裕身先士卒，一马当先，战士们也英勇作战，以一当百。当时正刮东北风，刘裕令战士放火，一时火光冲天，喊杀之声响彻云霄，桓谦军队顷刻之间溃不成军。当刘裕大军向建康进攻时，桓玄自知抵挡不过，便放弃建康，挟带着被逼退位的傻皇帝司马德宗，向荆州根据地江陵退去。刘裕命何无忌、刘道规率兵追击。
荆州是桓玄的势力范围，他回到江陵后，重整队伍，集中水军二万顺江东下，与刘毅大军在峥嵘洲（今湖北鄂城）相遇。双方经过激战，桓玄水军大败，桓玄带着皇帝又退回江陵。见江陵也守不住，桓玄就继续西上，准备入蜀。在路上，被益州刺史毛璩的部下杀死。桓玄叛乱被平定，被劫持的晋安帝回到建康，重新登上皇帝的宝座。
刘裕因恢复晋室有功，晋安帝封他为侍中、车骑将军、都督中外诸军事、领南徐、南青二州刺史。刘裕为发展自己的势力，还镇京口，后又加领南兖州刺史，将北府兵权牢牢掌握在自己手中。他为了提高自己在朝廷中的地位和声誉，决定北伐慕容鲜卑所建的南燕。
南燕是鲜卑慕容德于398年（晋安帝隆安二年）所建立的政权，先都于滑台（河南滑县），第二年迁于广固（今山东益都），势力范围主要在今山东一带。405年（义熙元年），慕容德病死，由他的侄儿慕容超继位。慕容超不管政事，只知道打猎游玩，还经常派兵骚扰东晋北部边境。他经常掳走东晋边民当奴隶，称他们为“吴口”，并且还作为礼物，送给后秦等国的统治者，这引起东晋北部边境人民的极大愤慨，他们盼望东晋朝廷早日出兵北伐，消灭南燕。
408年（义熙四年），东晋政府任命刘裕为扬州刺史、录尚书事，这样刘裕即掌握了北府兵军权，又掌握了朝廷的政治大权，刘裕决定此时进行北伐。
409年（义熙五年）二月，南燕兵又大掠淮北，掠走一千多户百姓，还俘虏了东晋的阳平太守和济阴太守。为了打击南燕的嚣张气焰，四月，刘裕率大军从建康出发，进行北伐。刘裕大军乘船渡过淮水、泗水，到下邳，将船舰和军需物资都留下，轻装前进，攻占琅玡（今山东临沂）。面对来势凶猛的刘裕大军，南燕大臣公孙五楼对慕容超说：“刘裕大军轻装前进，适合于速战速决，不能与他们硬拼。我们应占据大岘（今山东沂水县北），让刘裕军队过不来，旷日持久地坚持下去，挫伤他们的锐气。然后派精骑二千，沿海南下，断绝他的粮道。再派段晖统率兖州的军队，顺山东下，在后面进攻他，这是上策。让各地地方官死守城池，留下够用的物资外，其余的全部烧毁，然后将庄稼全部割下，使敌人没有物资来源，军队没有粮食，求战又没有人与他们打，旬月之间，就可制服他们，这是中策。放他们过大岘，然后在出城迎战，是下策。”
慕容德拒绝公孙五楼的建议，骄傲自大地说：“现在我们据有五州之地，山河坚固，有上万辆战车，骑兵万数。纵使刘裕过大岘，到了平地，我们可以用精悍的骑兵消灭他们。”
结果，刘裕大军顺利地通过大岘，继续进军到东莞（山东沂水县境）。这时，慕容超才赶紧派兵守临朐（今山东掖县北），慕容超亲自到临朐指挥战斗，结果被刘裕军大败，慕容超狼狈地逃回广固，他所用的辇、玉玺、豹尾等都被刘裕得去。刘裕继续围攻南燕都城广固。
在被围困的紧急情况下，慕容超请求向晋称臣，并答应割大岘以南的土地给东晋，还有一千匹马，刘裕拒绝。慕容超没办法，派遣尚书郎张纲、尚书令韩范到后秦求救。结果张纲被晋军俘虏，反为东晋造攻城的战具。韩范求来的一万救兵，又被大夏赫连勃勃军队给挡住，韩范也投降了东晋。后秦皇帝姚兴派使者到刘裕那里，威吓刘裕说他已经派出十万铁骑驻扎在洛阳，如果刘裕再不撤军，就长驱直入，杀将过来！刘裕知道，当时后秦北有强敌北魏，西北有匈奴族赫连氏所建的大夏，自身都难保，哪敢援救南燕。
南燕外无救兵，内部意见不统一，慕容超已丧失民心，众叛亲离。410年（义熙六年）二月，南燕尚书悦寿打开广固城门，南燕终于被东晋所灭。刘裕进城后，对久攻广固不下而非常恼怒，他要把城中的男子全部杀掉，把他们的妻女赏给将士。南燕降将韩范对刘裕说：“自从晋室南迁，中原战乱纷纷，百姓没有办法，只好依服强者。既然做人家的臣民，就得为人家尽力。这些人都是先帝的遗民，现在王师北伐，却要把他们都杀死，让他们归附谁呢？如果那么做，恐怕留在西北的人就再也没有希望了。”
