蒙哥做大汗时，他的弟弟忽必烈掌管着黄河以北的地方军队和行政事务。忽必烈从小就有远大的理想，并且在早年受到了中原汉族文化的影响，又结识了一批有学问的汉族文士，如刘秉忠、张文谦、王鹗、郝经、姚枢等人，他们劝说忽必烈要用儒家思想来治理国家，特别要用“汉法”来治理中原。他们的建议对忽必烈影响很大，他决定夺得天下后，一定用“汉法”来治理国家。而正是这些人支持忽必烈夺得汗位的。
忽必烈在滦河北岸建造了一座新城，取名“开平”。并以此为根据地，以汉法来实行对黄河以南地区的统治。这种作法损害了蒙古贵族的利益，也引起了蒙哥的怀疑，蒙哥准备削去忽必烈的兵权。忽必烈听从姚枢等人的劝告，把妻子、女儿送到蒙哥那里去当人质，并亲自去见蒙哥，说明自己并无野心，蒙哥这才相信了他。
1258年，蒙哥发兵三路攻打南宋，他自己率领主力攻四川，忽必烈攻鄂州，兀良哈台从云南打潭州。正当忽必烈攻打鄂州的时候，忽然传来蒙哥去世的消息，并听说驻守在和林的阿里不哥即将继承汗位。
阿里不哥是拖雷的小儿子，按照蒙古人“幼小守产”的习惯，在他的兄长们打仗的时候，他就留在蒙古国的都城和林。在阿里不哥的周围有一批蒙古贵族，他们反对用“汉法”来统治，而主张用蒙古的旧法来统治，因此他们反对忽必烈，而拥护阿里不哥，当阿里不哥听到蒙哥去世的消息后，马上任命支持他的人担任各级官员，并派脱里赤和阿兰答儿占领燕京和陕西一带，准备阻止忽必烈北上。
忽必烈得到消息后立刻召集跟着他的诸王、大将和谋士们商量怎么办。谋士郝经献了一条妙计：一方面派一支军队去接蒙哥的灵车，把大汗的宝玺夺过来；一方面派军队夺取并守卫燕京；同时通知各王到和林去举行丧礼。正在这时，南宋宰相贾似道又来求和，忽必烈马上同他订了和约，然后带着人马北上。
1259年，忽必烈到达燕京，遣散了脱里赤招买的人马。1260年三月，忽必烈到达开平。他的大将廉希宪和商挺建议他抓住时机，先下手为强。于是，忽必烈在开平召开忽邻勒台，在塔察儿、也先哥、合丹、米哥等王的拥护下，忽必烈登上了大汗的宝座。
阿里不哥没想到忽必烈的动作这样快，他慌忙在四月也召开忽邻勒台，宣布自己为大汗。
那时，东部的各个王都支持忽必烈，西边的王中，有的支持阿里不哥，有的支持忽必烈，而且忽必烈还统治着中原，因此忽必烈的力量比阿里不哥大得多。因为阿里不哥的势力在西边，因此忽必烈就派廉希宪向陕西进军。阿里不哥在陕西的大将是浑都海，他手下有战将刘太玉和霍鲁怀，他们驻扎在六盘山一带。廉希宪一到，两军就打了起来。廉希宪的老将刘黑马一马当先，一场恶战，活捉了刘、霍二人，把浑都海打得大败。廉希宪又从霍鲁怀口里知道，驻扎成都的密里霍者，驻在青州的乞台不花，都要起兵反叛忽必烈，情况万分紧急，廉希宪只能假传圣旨，派刘黑马到成都杀死了密里霍者，派汪惟正到青州杀死了乞台不花。不久八春、合丹等又来同廉希宪会合，他们大败浑都海，并杀死了阿兰答儿和浑都海，阿里不哥在西方的力量被打垮了。
同时，忽必烈亲自带领大军，直扑阿里不哥的老巢和林。阿里不哥慌忙逃到谦州，他怕忽必烈追来，就使了一个缓兵计，派人向忽必烈认罪，说他愿意投降，等他把马儿养肥了，再同其他王一起来拜见。忽必烈识破这是阿里不哥的诡计，就对使者说：“你回去告诉我的弟弟，说我相信他的话，原谅了他，叫他快快来见我。”便派也孙哥驻守和林，自己先回开平了。
1261年秋天，阿里不哥养肥了他的战马，又收集了一批人马，又发兵南下。他派人到也孙哥那儿，假意说是来投降，也孙哥信以为真，没有做打仗的准备。阿里不哥发动突然袭击，又把和林夺了回去。忽必烈知道后，马上又带兵北上，两军在昔木土脑儿相会，结果阿里不哥又被打败，逃回和林。可是这时，原来支持阿里不哥的阿鲁忽王也起兵反对他，阿里不哥被迫逃到新疆去。
之后，阿里不哥吃了很多败仗。支持他的王族纷纷倒戈，投靠了忽必烈。1264年，阿里不哥向忽必烈投降。忽必烈下诏：阿里不哥等王，都不问罪，但是他的谋臣，要全部杀死。这样，忽必烈巩固了他的汗位。
忽必烈平定阿里不哥后，把政治中心由和林搬到中原，他继续推行“双法”来改造蒙古国。1271年，忽必烈根据刘秉忠的建议，按《易经》五“乾元”（相大）的意思，把国号改为“大元”，这样元朝正式成立了，忽必烈就是元世祖。第二年，元世祖把燕京改为大都，作为元朝的首都。
