窝阔台死后，由乃马真皇后监国，后来由她的儿子贵由做了两年多大汗。贵由死了，大汗位就传到拖雷的儿子蒙哥手里了。
蒙哥做了大汗之后，就让他的弟弟忽必烈掌管黄河以北的地方军队和行政事务。忽必烈从小就有远大的理想，想干一番事业。他在早年的时候就受到了中原汉族文化的影响，后来他认识了一批有学问的汉族知识分子，如刘秉忠、张文谦、王鹗、郝经、姚枢等人，他们劝说忽必烈要用儒家思想来治理国家，特别要用“汉法”来治理中原。郝经还说：“谁要是能重用士大夫，又能用中原的统治方法来治理国家，谁就能当中国的皇帝！”这些话对忽必烈影响很大，他决定夺得天下后，一定用“汉法”来治理国家。而正是这些人支持忽必烈夺得汗位的。
忽必烈让刘秉忠在滦河北岸的龙岗（现在的内蒙古自治区多伦县西北），为他建造了一座新的城市，叫做开平，作为他的根据地，把他的谋士都召到那儿，开始了在黄河以北的统治。忽必烈用汉法治理汉地，损害了蒙古贵族的利益，也有损于蒙哥的汗位。于是蒙哥夺去了忽必烈的兵权，并派阿兰答儿、刘太平前去调查。忽必烈听从姚枢等人的劝告，把妻子、女儿送到蒙哥那里去当人质，并亲自去见蒙哥，说明自己并无野心，蒙哥这才相信了他。
公元1258年，蒙哥发动三路大军攻打南宋，他自己率领主力攻四川，让忽必烈攻鄂州（现在的湖北省武汉市），让兀良哈台从云南打潭州（现在的湖南省长沙市）。正当忽必烈攻打鄂州的时候，忽然传来蒙哥去世的消息，有人说是病死的，有人说是在指挥攻城时，被飞石打成重伤，回到军营后死的，反正是死了。忽必烈想攻下鄂州后，再回去夺取汗位，可是这时，传来阿里不哥要继承汗位的消息。
阿里不哥是拖雷的小儿子，按照蒙古人“幼小守产”的习惯，在蒙古他们打仗的时候，他就留在蒙古国的都城和林。在阿里不哥的周围有一批蒙古贵族，他们反对用“汉法”来统治，而主张用蒙古的旧法来统治，因此他们反对忽必烈，而拥护阿里不哥，当阿里不哥听到蒙哥去世的消息后，马上任命支持他的人担任各级官员，并派脱里赤和阿兰答儿占领燕京和陕西一带，准备阻止忽必烈北上。
当时，忽必烈的妻子察必正在开平，她得知消息后，马上报告给了忽必烈。忽必烈立刻召集跟着他的诸王、大将和谋士们，商量怎么办。谋士郝经说：“阿里不哥已经开始行动了。大王虽然有重兵，但是，如果他宣称有大汗的遗诏，先即位了，我们还能回去吗？”他给忽必烈献了一条妙计：一方面派一支军队去接蒙哥的灵车，把大汗的宝玺夺过来；一方面派军队夺取并守卫燕京；同时通知各王到和林去举行丧礼。正在这时，南宋宰相贾似道又来求和，忽必烈马上同他订了和约，然后带着人马北上。
公元1259年，忽必烈到达燕京，遣散了脱里赤招买的人马。公元1260年三月，忽必烈到达开平。他的大将廉希宪和商挺私下对他说：“先下手为强，后下手遭殃。机会丢失了，就再也找不回来了。”于是，忽必烈在开平召开忽邻勒塔，在塔察儿、也先哥、合丹、米哥等王的拥护下，忽必烈登上了大汗的宝座。
阿里不哥没想到忽必烈的动作这样少，他慌忙在4月也召开忽邻勒塔，宣布自己为大汗。
常言道：“天无二日，国无二主。”蒙古国出了两个大汗，那怎么能行呢？看来只有通过打仗来决定了。当时，东部的各个王都支持忽必烈，西边的王中，有的支持阿里不哥，有的支持忽必烈，而且忽必烈还统治着中原，因此忽必烈的力量比阿里不哥大得多。因为阿里不哥的势力在西边，因此忽必烈就派廉希宪向陕西进军。阿里不哥在陕西的大将是浑都海，他手下一个姓刘、一个姓霍的战将驻扎在六盘山一带。廉希宪一到，两军就打了起来。廉希宪的老将刘黑马一马当先，一场恶战，活捉了刘、霍二人，把浑都海打得大败。廉希宪又从霍鲁怀口里知道，驻扎成都的密里霍者，驻在青州的乞台不花，都要起兵反叛忽必烈，情况万分紧急，来不及报告忽必烈，廉希宪就假传圣旨，派刘黑马到成都杀死了密里霍者，派汪惟正到青州杀死了乞台不花。不久八春、合丹等又来同廉希宪会合，他们打败浑都海，并杀死了阿兰答儿和浑都海，阿里不哥在西方的力量被打垮了。
同时，忽必烈亲自带领大军，直扑阿里不哥的老巢和林。阿里不哥哪里是对手，慌忙逃到谦州，他怕忽必烈追来，就使了一个缓兵计，派人向忽必烈认罪，说他愿意投降，等他把马儿养肥了，再同其他王一起来拜见。忽必烈认为阿里不哥所做的事，全是他的谋土指使的，因此，就对使者说：“你回去告诉我的弟弟，说我相信他的话，原谅他了，叫他快快来见我。”后来忽必烈等不及了，就派也孙哥驻守和林，自己先回开平了。
公元1261年秋天，阿里不哥养肥了他的战马，又收集了一批人马，又发兵南下。他深入到也孙哥那儿，假意说是来投降，也孙哥信以为真，没有做打仗的准备。阿里不哥发动突然袭击，又把和林夺了回去。忽必烈知道后，马上又带兵北上，两军在昔木土脑儿相会，结果阿里不哥又被打败，逃回和林。可是这时，原来支持阿里不哥的阿鲁忽王也起兵反对他，阿里不哥被迫逃到新疆去。
后来，阿里不哥又多次打了败仗，加上蒙古高原又发生了饥荒，原来支持阿里不哥的各王，纷纷跑到忽必烈那儿去了。公元1264年，阿里不哥只得向忽必烈投降。忽必烈问他：“咱们兄弟俩，按道理讲，到底谁该当大汗呢？”阿里不哥说：“以前我是对的，现在是大汗你对！”他还挺硬气的，只承认失败，可不承认没有道理。后来，忽必烈下诏：阿里不哥等王，都不问罪，但是他的谋臣，要全部杀死。样，忽必烈巩固了他的汗位。
忽必烈平定阿里不哥后，把政治中心由和林搬到中原，他继续推行“双法”来改造蒙古国。公元1271年，忽必烈根据刘秉忠的建议，按《易经》五“乾元”（相大）的意思，把国号改为“大元”，这样元朝正式成立了，忽必烈就是元世祖。第二年，元世祖把燕京改为大都，作为全国的首都。
