五月二十日，太祖下令说：“兵书《司马法》上说，将军临阵脱逃的要被处死，所以赵括的母亲请求不因儿子战败而被连坐。可见古代作将帅的出外作战，失败了，家属在后方要受诛连。我派将士出征，只奖励有功的，不惩罚有罪过的，这不能作为国家立国之法。从今以后，将士出征的，失败了的要依法治罪，并免除官职爵位”。
七月，太祖下令：“从战乱到现在已经十五年了，后生们不知道仁义礼让的道德风尚，我很担心。我命令从现在开始，各郡国都要研修文学，五百户以上的县要设置学校，选拔当地的可造之才入学就读，这样或许可以让先王的思想精华发扬光大，从而有益于天下人。”八月，太祖征讨刘表，驻军西平。先前太祖离邺城南移时，袁谭、袁尚为争夺冀州而兄弟反目，袁谭被袁尚击败，逃到平原，固守在那里。袁尚迅速前来攻城，袁谭派辛毗到太祖处乞求收降，并请求增援自己。将士们都很怀疑，苟攸建议太祖答应，于是太祖带兵返还。
十月，到达黎阳，让儿子曹整娶袁谭的女儿为妻。袁尚听说太祖北上，就撤离了平原回到邺城。东平县的吕旷、吕翔背叛了袁尚，占据了阳平，带着部下投降太祖，被封为列侯。
建安九年（公元204年）正月，太祖率部队渡过黄河，将淇水全部引入白沟作为运粮的通道。二月，袁尚又攻打袁谭，留下苏由、审配守护邺城。曹军进军到洹水，苏由投降。太祖到达邺城后就开始为攻城做准备，堆土山，挖战壕。武安县令尹楷驻扎在毛城，以保证往上党方向的粮道通畅。四月，太祖留曹洪继续攻打邺城，自己率部队袭击尹楷，胜利后又回到邺城。袁尚的大将沮鹄驻守邯郸，曹军又将他击败。易阳县县令韩范，涉县县令粱岐率城投降，被授予关内侯的爵位。五月，曹军毁掉土山、地道，改挖壕堑，挖开漳水淹灌邺城，城中超过一半的人都饿死了。七月，袁尚带兵返回援救邺城，众将都认为：“这是回守的部队，人人都将浴血奋战，不如先避开他们。”太祖说：“假如袁尚从大道回来，应该避开；如果是沿着西山回来，这次必定会被擒。”袁尚果然沿西山回来，在滏水边扎营。深夜，袁尚派兵袭击围攻曹军，太祖迎战，将他打败，随后将他的营寨囤了起来。在还没包围起来的时候，袁尚就胆怯了，派以前的豫州刺史阴夔和陈琳到太祖处乞求归降。太祖不答应，继续加快围营的步伐。袁尚趁天黑逃走，退守在祁山，曹军追击。袁尚的部下马延、张凱等人临阵投降，军中一片混乱破败，袁尚逃往中山国。曹军缴获袁军全部辎重财物，得到了袁尚的印章、绶带、符节、斧铖，并让袁军降兵拿这些物品给城中家属看，城中人都沮丧不已。八月，审配兄长的儿子审荣在夜里打开自己守卫的城东门，迎接曹军人内。审配迎战失败，被活捉斩首，邺城也平定了。太祖亲自到袁绍墓前祭拜他，痛哭流涕，还慰藉袁绍的妻子，把她的仆人、财物送还，又送给她各种绸缎棉絮，又令官府给他们食物。
当初袁绍和太祖一同起义时，袁绍曾经问太祖：“如果起兵之事不成，什么地方可以容身？”太祖说：“您觉得呢？”袁绍说：“我最南守住黄河，最北占据燕、代，加上戎狄的力量，向南夺取天下，或许可以成功吧？”太祖说：“我只要凭借天下有才之士，用好的方法驾御他们，就没有什么做不成的。”九月，太祖下令：“黄河以北因袁氏战争而受难的百姓，免交今年的赋税。”并加重了处罚豪强兼并土地的法令，百姓十分高兴。皇上让太祖兼任冀州牧，太祖辞去了兖州牧一职，只任冀州牧。
趁太祖围攻邺城之机，袁谭占领了甘陵、安平、勃海和河间。袁尚被击败后逃到了中山。
袁谭前去攻打他，袁尚逃往故安。于是袁谭兼并了他的部队，太祖得知后写信给袁谭，责备他违背约定，和他断绝娴亲关系，将他的女儿遣送回家，然后进军攻打袁谭。袁谭害怕了，撤离平原县，逃到南皮固守。十二月，太祖进入平原，又平定了平原周边几个郡县。
建安十年（公元205年）正月，太祖攻打袁谭成功，斩了袁谭，杀了他的妻子儿女，冀州平定了。太祖下令说：“凡是和袁氏一起作恶的人，允许他们改过自新。”又下令禁止百姓报私仇、厚葬，违反的一律依法惩处。这个月，袁熙的大将焦触、张南发动叛乱攻打袁熙、袁尚，二人逃到辽西、二谷、右北平三郡的乌丸地区。焦触等人率城投降，被封为列侯。当初讨伐袁谭时，一些人不做破冰的差使，太祖下令不得接受他们的投降。没过多久，逃亡的人中有的到太祖营前自首，太祖对他们说：“让你们自首就违反了法令；杀了你们又是杀害认错自首的人。你们回去藏起来吧，别被官吏抓住。”百姓哭着回去了，后来还是被抓起来了。
这年四月，黑山贼张燕带着他的部下十几万人投降，被封为列侯。故安赵犊、霍奴等人杀了幽州刺史和涿郡太守。三郡的乌九人在犷平县攻打鲜于辅。八月，太祖出征，斩了赵犊后，渡过潞河救援犷平县，乌丸人逃往塞外。
九月，太祖下令：“结党营私、暗中勾结是先圣们深恶痛绝的事。听说冀州有这样的习俗，父子各自成立一派，有的互相诽谤，有的相互吹捧。从前直不疑连哥哥都没有，却有人说他和嫂子通奸；第五伯鱼娶了三位孤女，却有人说他打了岳父的耳光；王凤专权，却有人将他比作申伯；王商忠君讲理，张匡却说他搞歪门邪道。这些都是黑白不分、欺骗上天蒙蔽天予的事啊！我将要整治风俗习惯，像刚才说的那样四项陋习如果不除掉，我会感到羞愧。”十月，太祖回到邺城。
当初袁绍任命他的外甥高斡为并州牧，太祖攻取邺城时，高斡投降，于是太祖任命他为刺史。高斡得知太祖去讨伐乌丸，就带着并州反叛，还挟制了上党太守，在壶关口起兵固守。太祖派乐进、李典带兵镇压，高斡退回壶关城死守。建安十一年（公元206年）正月，太祖亲自带兵征高斡。高斡得知这个消息，就留下部将守城，自己逃往匈奴处，向单于求救，单干不同意。太祖围攻壶关三个月后终于攻克了它。高斡随后逃到荆州，上洛县都尉王琰抓住他并将他斩首。
八月，太祖东征海贼管承，到了淳于，派乐进、李典前去攻击他，取得了胜利，管承逃往海中岛上。太祖将东海郡的襄贲、郯、戚三地划分到琅琊郡下，撤了昌虑郡。
三郡乌丸趁着天下动荡不安，夺取幽州，道抢掠的汉族百姓大约有十几万户。袁绍曾让其中的首领做单于，并收本族人的女儿为养女，嫁给他们作妻子。辽西单于蹋顿势力最强，很受袁绍喜爱，因此袁尚兄弟来投靠他，经常入塞作恶。太祖为征讨乌丸作准备，挖渠道，从呼沲直到弧水，取名为平虏渠；又从泃河口挖渠到潞河，命名为泉州渠，直通大海。建安十二年（公元207年）二月，太祖从淳于返回邺城。二月初五，太祖下令说：“从我起义平定暴乱到今天，已十九年了，所讨伐的都成功了，这难道是我一个人的功劳吗？这是众多有才之士的共同努力完成的呀！天下虽然还没有完全安定，我自然会和他们一起去平定，但让我一个人享受这么多人的功劳，我怎么能安心l应尽快给大家论功行赏。”于是功臣二十多人都被封为列侯，其他人也依次受封，还减免阵亡将士后代的赋税，轻重各有不同。
太祖准备北征三郡乌丸，众将都说：“袁尚只不过是个逃命的俘虏，乌丸人只认钱财不认亲朋，怎么会为袁尚出力？现在您深入乌丸征讨他们，刘备一定会游说刘表来攻打许都。
万一发生变故，后悔都来不及。”只有郭嘉预料刘表一定不会听信刘备，劝太祖出征。五月，太祖到了无终。七月，因为发大水，靠海的道路不能通行，田畴毛遂自荐为向导，太祖允许了。
田畴带部队出了卢龙塞，塞外道路断绝不通，只得挖山填谷五百余里。曹军过了白檀，越过平冈，经过鲜卑族聚居地，一直向东往柳城去。
在离柳城不到二百里时，敌人才知道消息。袁尚、袁熙和蹋顿以及辽西单于楼班、右北平单于能臣抵之等人率领几万骑兵迎战。八月，太祖登上白狼山，和敌军偶然相遇，敌军人多势众，力量很强大。太祖的重兵器都在后面，穿战甲的人很少，左右随行的都很害怕。太祖登上高处，看到敌军阵式混乱，就派兵攻打他们，命张辽为先锋出击。乌丸士兵溃败，蹋顿和其他名王都被杀r，胡、汉两族投降的一共二十几万人。辽东单干速仆丸和辽西、右北平的各个将领丢下他们的族人，跟袁尚、袁熙一起逃往辽东，随行的有几千骑兵。当初，辽东太守公孙康自恃偏远，不服管辖。到太祖击败乌丸时，有人劝太祖乘胜攻打公孙康，这样袁氏兄弟就能被擒。太祖说：“我正耍让公孙康砍了袁尚、袁熙的头送过来，不用再派兵了。”九月，太祖带部队从柳城返回，公孙康当即杀了袁尚、袁熙、速仆丸等人，并把他们的头送了过来。众将中有人问：“主公返回，公孙康却杀了他们并送首级过来，这是为什么呢？”太祖说：“他向来畏惧袁尚等人，我若急攻，他们就会联合起来抵抗；我若不攻打他，他们就自相残杀，这是必然的。”十一月，太祖到了易水，代郡乌丸代理单于普富卢、上郡乌丸代理单于那楼带领首领前来接风、道贺。
建安十三年（公元208年）正月，太祖返回邺城，挖凿玄武池训练水军。献帝废除了三公之职，设立了丞相、御史大夫。六月，皇上任命太祖为丞相。
七月，太祖南征刘表。八月，刘表去世，他的儿子刘琮接替了他的职位，驻扎在襄阳，刘备驻守樊城。九月，太祖到达新野，刘琮投降，刘备逃到夏口。太祖进军江陵，下令让荆州的官民一起遵守新的法令。还按照荆州降官功劳人小的不同，将其中十五人封为侯，任命刘表的大将文聘为江夏太守，派他统领其原有军乌兵将；还举荐任用了荆州的知名之士韩嵩、邓义等人。益州牧刘璋开始接受征兵，并交纳赋税，派遣士兵给曹军。十二月，孙权为刘备进攻台肥提供援助。太祖从江陵出发攻打刘备，到了巴丘，派张憙去救援合肥。孙权听说张意到了，便撤走了。太祖到达赤壁后，和刘备交战失利。不巧这时正发生大瘟疫，官兵巾很多人都病死了，于是太祖带兵北归。随后刘备占据了荆州以及长江以南的各个郡县。
建安十四年（公元209年）三月，太祖到达谯县，命人制造轻舟，操练水军。七月，曹军从涡水到淮河，出r淝水，驻军在合肥。八月二十四日，太祖下令：“很长时间以来，部队几次远征，又遭遇瘟疫，官兵死亡，无法回乡，家属怨恨不已，百姓流离失所，这些难道是有仁爱之心的人乐意看到的吗？是不得已呀！我命令对于那些战死的士兵，家中没有基业、不能维持生计的，县官不能停止粮食供给，官吏应该前去抚慰救济他们，这才符合我的意思。”于是在扬州设置郡县长官的职位，开垦芍陂作为农田。十二月，太祖返回谯县。
建安十五年（公元210年）春天，太祖下令：“自古以来，凡是开国的和中兴的君主，哪有不靠贤人君子和他‘起治理天下的l君主足不出巷，就能得到贤德之才相助，这难道是侥幸相遇的吗？居于高位的不去寻访怎么行呢？如今天下还没有完全平定，这正是特别需要贤德有才的人的时候。孔子说：‘孟公绰作赵、魏两家的家臣之长，是绰绰有余的，却不能任腾、薛二小国的大夫。’如果一定要是清廉的人才能得到任用，那齐桓公凭什么称霸天下？难道如今天下真没有象吕尚那样，衣衫褴褛却才华横溢，并在渭水边上垂钓的人吗？没有象陈平那样被诬陷与嫂子通奸、又收受钱财而还没遇到赏识他的人吗？各位一定要帮我留心观察，不管怎样出身低微，只要有才能就向我推荐，我将好好任用他们。”这年冬天，建造铜雀台。
建安十六年（公元211年）正月，汉献帝任命太祖世子曹丕为五官中郎将，还替他安置所属官员，同时让他兼做丞相的副手。太原商曜等人占据大陵发动叛乱，太祖派夏侯渊、徐晃率军围攻火陵，镇压了叛乱。张鲁据守汉中，三月，太祖派钟繇去征讨他，又派夏侯渊等人从河东出发，与钟繇会师。
当时关中的各个将领都疑心钟繇要袭击自己，于是马超便和韩遂、杨秋、李堪、成宜等人反叛。太祖派曹仁前去讨伐他们，马超等人驻扎在潼关。太祖提醒众将说：“关西兵精明强悍，你们坚守营地，不要与他们正面交锋。”七月，太祖率队西征，在马超驻军的对面驻扎，隔着潼关，两军对峙。太祖先稳住阵脚，暗中派徐晃、朱灵等连夜渡过蒲阪津，占据黄河西部扎营。太祖亲自带兵从潼关北渡黄河，还没渡过，马超赶到，攻击曹军军船。校尉丁斐见此情景，放出牛马作诱饵，扰乱敌人的视线，敌军果然趁乱抢夺牛马，无心战斗，太祖这才得以渡过黄河，沿着黄河向南修筑通道。敌人撤退，据守渭口顽抗，太祖便多次设置疑兵，悄悄用船装载士兵进入渭口，搭浮桥，分派兵力在渭水南面扎营。敌人连夜攻营，太祖派伏兵将他们打退。马超等人驻守渭水南岸，派使者送书信给太祖许诺割让黄河以西的地盘，请求和谈，太祖没有答应。九月，太祖率大军渡过渭水，马超等人几次挑起战事，太祖不应战，于是马超等人肯求割让土地，还提出让自己的儿子做人质，以表示和谈的诚意。
