曹操在政治上控制了皇帝，取得了主动权；经济上在统治区内实行了屯田，得到了充足的军粮，有了比较坚强的后盾，他开始实行统一天下的宏伟计划。当时，曹操势力范围主要在黄河以南兖州地区，他的北边是拥有青、冀、幽、并四州之地的袁绍；南边是拥有淮南扬州的袁术；东边是拥有徐州的吕布；西边是拥有荆州南阳的张绣。面对群雄环绕的形势，曹操采取北和袁绍，先弱后强，由近及远，分化拉拢，各个击破的战略方针。他知道，自己的实力远不及拥有黄河以北大面积地区的袁绍。为了拉拢袁绍，他将自己大将军的头衔让给袁绍，以达到稳住袁绍的目的。另外，对距离自己较远的关中地区军阀韩遂、马腾也采取拉拢、安抚政策，令其暂时据守关中，不要轻举妄动。一切做好之后，曹操便将进攻的目标定在势力较弱的张绣身上。
197年（建安二年），曹操亲率大军西征，直逼南阳郡治宛县（河南南阳），张绣举众投降。后张绣反悔，在一天夜晚，趁曹军不防，发动突然袭击，曹军损失惨重。曹操险些丧命，大将典韦，曹操的长子曹昂、侄子曹安民都战死。曹操被迫退出宛县。198年，曹操再次进攻张绣，张绣在谋士贾诩劝说下，第二次投降曹操。曹操不计前仇，封张绣为扬武将军，并为儿子曹均娶了张绣的女儿，结成儿女亲家，这充分表现了曹操作为一个政治家的宽阔胸怀。
曹操降服张绣，取得荆州南阳之地，然后将注意力转向南方的袁术。袁术先前在曹操、袁绍联合进攻下，退居淮北。他曾从江东孙策处得到一块“传国玺”，上面刻着“受命于天”等字样。他在淮南不思振作，只想做他的皇帝梦。当他听说曹操迎皇帝到许昌时，于197年便急忙在寿春（今安徽寿县）称上皇帝了。他为了保住自己的皇位，对抗曹操，设法拉拢、讨好占据徐州的吕布，表示愿意娶吕布的女儿为儿媳。吕布是一个政治上反复无常的人，他本是丁原的部将，董卓入京后，卖主求荣，杀丁原投董卓，后又杀董卓投王允。他被李傕、郭汜赶出长安后，先依袁术，又投张杨，再奔袁绍。后又依靠徐州刘备；不久又与袁术勾结，赶走刘备，占据徐州。当袁术对他拉拢时，他高兴地答应了袁术的要求。曹操闻听此事，利用吕布反复无常的心理，决定采取离间术。他以献帝名义，下诏书表扬吕布杀董卓之功等等，吕布后悔将女儿许给袁术之子，将已上路的女儿截回，并杀死袁术派来的使者。
吕布的出尔反尔令袁术十分恼怒，他派数万步骑兵攻打吕布，结果惨败而归。曹操坐山观虎斗，收渔翁之利。当袁术力量削弱时，于197年（建安二年），进攻袁术。袁术自思抵不过曹操，退居淮南，淮北之地尽入曹操手中。袁术的力量从此便一蹶不振，199年（建安四年），袁术病死寿春，这一支军阀退出历史舞台。
解决了袁术之后，曹操便决定集中精力东征吕布。198年（建安三年），曹操亲率大军东征，吕布大败，退保下邳（今江苏睢宁西北）。经过两个多月的围攻，吕布在下邳城的白门楼束手就擒。曹操虽爱惜吕布的勇猛，但他的为人实在令人不齿，遂下令将吕布绞死。又一支军阀势力被消灭。
200年（建安五年），曹操又赶走新占据徐州的刘备，控制了黄河以南、长江以北大片地区，开始与占据黄河以北的袁绍争风，爆发了历史上著名的官渡之战。
从交战双方的力量上看，袁绍的军事力量远远强于曹操。袁绍占有青、冀、幽、并四州，地方大，军队多，部队数十万，所统治地区多是产粮区，军粮充足。当时袁绍的谋士沮授就分析说：“我们的军队虽多，但不如曹操的军队勇猛；曹操的军粮少，物资储备不如我们。”看来双方各有利弊，这就取决于交战双方的计谋、策略了。
200年二月，袁绍命沮授为监军，亲率十万大军，从邺城（今河南省安阳市北）出发，进攻曹操的都城许昌。袁绍大军开进黎阳（今河南浚县东北），安营扎寨，将这里作为指挥部，派大将郭图、颜良进攻白马（今河南滑县东）。当时驻守白马的是曹操的东郡太守刘延，守军死伤惨重。而曹操集结在官渡（今河南中牟县东北）的军队也只不过三四万人。面对敌我力量悬殊，白马告急，怎么办？谋士荀攸向曹操献计道：“我军兵少，面临强敌，正面交锋恐怕不易得手，应设法分散袁绍的兵力。曹公您领兵向延津（今河南延津北），作出要渡黄河进攻袁绍后方的姿态，袁绍一定分兵向西，然后我们用轻骑突袭白马，攻其不备，颜良可以擒获。”
曹操认为这种声东击西的作战方法很好，便如计而行。果然不出所料，袁绍得到曹操向延津进军的消息后，就限令黎阳的军队赶在曹军渡河之前抵达延津渡口，做好与曹军决战的准备。曹操见袁绍中计，便悄悄率轻骑，直奔白马。围攻白马的颜良、郭图。颜良、郭图自恃兵多将广，又有黎阳大军做后盾，麻痹轻敌，当曹军突然进攻时，仓促迎战，结果颜良被杀，郭图逃跑，袁军大败。
白马失败消息传来，袁绍十分恼怒，他下令全军渡河追击曹军。沮授劝告袁绍说：“胜败乃兵家常事，应仔细考虑得失。现在最好是驻黄河北岸，分兵进攻官渡，若能攻下，大军再渡河也不晚。如果贸然南下，万一失败，就有全军覆灭的危险。”袁绍刚愎自用，哪里听得进沮授的忠告，遂率大军渡河。
袁绍大军行至延津以南，派大将文丑率领五六千骑兵追击曹操。曹操解白马之围后，主动放弃白马，向延津撤退。在延津南面，见袁绍军队追来，曹操下令以后军为前军，前军为后军，并丢下一些车辆物资，绕道西进。令徐晃率六百多名精锐骑兵在树丛中埋伏起来。文丑率大军追至，见路上扔满车辆物资，以为曹军害怕了，为逃命而丢下的，士兵们纷纷跳下马，争先恐后地抢起东西来。这时埋伏在这里的曹军突然冲出来，闯入敌阵。袁军大乱，文丑仓促应战，结果被徐晃一刀砍死。主帅已死，袁军逃的逃，降的降，全军溃散。
袁绍打了两次败仗，非常气愤，决定直逼官渡，与曹操决一死战。谋士沮授不同意，劝告袁绍说：“目前我军新败，不宜决战。曹操虽胜，但兵少粮缺，利于急战，我们利在持久战。我们只要和他长期对峙，就能战胜他。”
骄横的袁绍自恃兵多粮足，听不进任何人的忠告，亲率大军，直逼官渡。
官渡离曹操的政治中心许昌不到二百里，是许昌的屏障，也是南北交通的咽喉要道。官渡若失守，许昌便危在旦夕。因此，曹操率全军竭尽全力，死守官渡，使袁绍大军几次进攻，都毫无战绩，战局进入相持阶段。
一个多月过去了，被困的曹操粮草供应越来越困难，有意退守许都。留守许都的荀彧来信劝他，困难是双方的，若能再坚持一下，形势或许会有转机。在袁绍那里，谋士许攸献策袁绍说：“曹操兵少，集中力量与我军对抗，许都一定空虚。如果我们派一支精锐轻骑，偷袭许都，一定能攻下。然后把献帝控制在手中，讨伐曹操，曹操势必被擒。即使许都攻不下，也能造成曹操首尾不能相顾，忙于奔命的局面，也可以打败他。”
袁绍傲慢地说：“不必，我一定要在这里擒住曹操。”
然而，一件小事改变了战局。许攸在邺城的家属犯了法，被留守邺城的审配抓起关进大牢。许攸大怒，他知道，好谋无断、外宽内忌、骄傲自大的袁绍虽兵多将广，将来必败无疑，自己莫如趁机投奔明主曹操，会有个好前程，遂星夜离开袁营，投奔曹操。曹操听说许攸来投，站起身来，高兴得连鞋都顾不上穿，就跑出去迎接。
许攸见曹操对自己如此重视，便推心置腹地谈了自己的想法。他建议曹操精兵袭击袁绍辎重粮草所在地故氏、乌巢。看守粮仓的将领叫淳于琼，为人骄傲自大，喜欢喝酒，警惕性很差。曹操听到如此重要情报，立即与谋士们商量，做好了偷袭乌巢的作战计划。
夜里，曹操留曹洪、荀攸留守大营，自己率张辽等五千骑兵，从小路直奔乌巢。他们一律换上袁军的服装、旗号。曹军很容易蒙混过了关，到了乌巢屯粮处，迅速将粮囤点燃。袁军见粮囤起火，一片大乱，曹操一阵砍杀。淳于琼等仓促应战，被曹军杀死。
袁绍闻听到乌巢军粮被烧，他不派兵援救淳于琼，反而自作主张命大将张郃、高览前去攻打曹军大营。张郃说：“我们这样做是在冒险，曹操攻打乌巢，淳于琼很难守住，如果乌巢失守，后果不堪设想。”
袁绍不听，张郃等只好攻打官渡曹营。袁军到达官渡，前面遇到曹洪大军的顽强抵抗，后面又受到从乌巢得胜回来的曹操的猛攻，腹背受敌。张郃见袁绍成不了大事，便与高览率军投降了曹操。
粮草被烧，张郃等大将投降，袁军不打自乱，曹军乘胜全面出击。消灭袁军七万多人，袁绍慌忙带着儿子袁谭和八百骑兵，渡过黄河北逃。曹操消灭北方最大军阀袁绍的主力，取得了官渡之战的绝对胜利。袁绍从此一蹶不振，202年（建安七年），袁绍在邺城病死。他的儿子袁尚、袁谭、袁熙等不团结，互相内战火并，曹操各个击破。经过几年的征战，曹操攻下了冀、青、幽、并四州之地，基本上统一了北方。
207年（建安十二年），曹操为了彻底消灭袁氏残余势力，并解除辽东少数民族乌桓的骚扰，曹操亲自率兵远征乌桓，杀死乌桓王蹋顿，将乌桓掠去和逃亡乌桓地区的十多万汉族人带回内地，并从乌桓军队中挑选一些骑兵编入自己队伍，成为“天下名骑”。当曹操从辽东班师回来时，年仅38岁的重要谋士郭嘉病死。年已53岁的曹操慨叹不已，写下了千古名诗。
老骥伏枥，志在千里；
烈士暮年，壮心不已。
经过20多年的角逐，中原大地重归安宁。军阀们在相互混战中死亡殆尽，中原这只肥鹿终成曹操囊中之物。已完成北方统一大业的曹操仍雄心勃勃，时刻准备好，重新统一全国。
