蒙哥做大汗时,他的弟弟忽必烈掌管着黄河以北的地方军队和行政事务。忽必烈从小就有远大的理想,并且在早年受到了中原汉族文化的影响,又结识了一批有学问的汉族文士,如刘秉忠、张文谦、王鹗、郝经、姚枢等人,他们劝说忽必烈要用儒家思想来治理国家,特别要用“汉法”来治理中原。他们的建议对忽必烈影响很大,他决定夺得天下后,一定用“汉法”来治理国家。而正是这些人支持忽必烈夺得汗位的。
忽必烈在滦河北岸建造了一座新城,取名“开平”。并以此为根据地,以汉法来实行对黄河以南地区的统治。这种作法损害了蒙古贵族的利益,也引起了蒙哥的怀疑,蒙哥准备削去忽必烈的兵权。忽必烈听从姚枢等人的劝告,把妻子、女儿送到蒙哥那里去当人质,并亲自去见蒙哥,说明自己并无野心,蒙哥这才相信了他。
1258年,蒙哥发兵三路攻打南宋,他自己率领主力攻四川,忽必烈攻鄂州,兀良哈台从云南打潭州。正当忽必烈攻打鄂州的时候,忽然传来蒙哥去世的消息,并听说驻守在和林的阿里不哥即将继承汗位。
阿里不哥是拖雷的小儿子,按照蒙古人“幼小守产”的习惯,在他的兄长们打仗的时候,他就留在蒙古国的都城和林。在阿里不哥的周围有一批蒙古贵族,他们反对用“汉法”来统治,而主张用蒙古的旧法来统治,因此他们反对忽必烈,而拥护阿里不哥,当阿里不哥听到蒙哥去世的消息后,马上任命支持他的人担任各级官员,并派脱里赤和阿兰答儿占领燕京和陕西一带,准备阻止忽必烈北上。
忽必烈得到消息后立刻召集跟着他的诸王、大将和谋士们商量怎么办。谋士郝经献了一条妙计:一方面派一支军队去接蒙哥的灵车,把大汗的宝玺夺过来;一方面派军队夺取并守卫燕京;同时通知各王到和林去举行丧礼。正在这时,南宋宰相贾似道又来求和,忽必烈马上同他订了和约,然后带着人马北上。
1259年,忽必烈到达燕京,遣散了脱里赤招买的人马。1260年三月,忽必烈到达开平。他的大将廉希宪和商挺建议他抓住时机,先下手为强。于是,忽必烈在开平召开忽邻勒台,在塔察儿、也先哥、合丹、米哥等王的拥护下,忽必烈登上了大汗的宝座。
阿里不哥没想到忽必烈的动作这样快,他慌忙在四月也召开忽邻勒台,宣布自己为大汗。
那时,东部的各个王都支持忽必烈,西边的王中,有的支持阿里不哥,有的支持忽必烈,而且忽必烈还统治着中原,因此忽必烈的力量比阿里不哥大得多。因为阿里不哥的势力在西边,因此忽必烈就派廉希宪向陕西进军。阿里不哥在陕西的大将是浑都海,他手下有战将刘太玉和霍鲁怀,他们驻扎在六盘山一带。廉希宪一到,两军就打了起来。廉希宪的老将刘黑马一马当先,一场恶战,活捉了刘、霍二人,把浑都海打得大败。廉希宪又从霍鲁怀口里知道,驻扎成都的密里霍者,驻在青州的乞台不花,都要起兵反叛忽必烈,情况万分紧急,廉希宪只能假传圣旨,派刘黑马到成都杀死了密里霍者,派汪惟正到青州杀死了乞台不花。不久八春、合丹等又来同廉希宪会合,他们大败浑都海,并杀死了阿兰答儿和浑都海,阿里不哥在西方的力量被打垮了。
同时,忽必烈亲自带领大军,直扑阿里不哥的老巢和林。阿里不哥慌忙逃到谦州,他怕忽必烈追来,就使了一个缓兵计,派人向忽必烈认罪,说他愿意投降,等他把马儿养肥了,再同其他王一起来拜见。忽必烈识破这是阿里不哥的诡计,就对使者说:“你回去告诉我的弟弟,说我相信他的话,原谅了他,叫他快快来见我。”便派也孙哥驻守和林,自己先回开平了。
1261年秋天,阿里不哥养肥了他的战马,又收集了一批人马,又发兵南下。他派人到也孙哥那儿,假意说是来投降,也孙哥信以为真,没有做打仗的准备。阿里不哥发动突然袭击,又把和林夺了回去。忽必烈知道后,马上又带兵北上,两军在昔木土脑儿相会,结果阿里不哥又被打败,逃回和林。可是这时,原来支持阿里不哥的阿鲁忽王也起兵反对他,阿里不哥被迫逃到新疆去。
之后,阿里不哥吃了很多败仗。支持他的王族纷纷倒戈,投靠了忽必烈。1264年,阿里不哥向忽必烈投降。忽必烈下诏:阿里不哥等王,都不问罪,但是他的谋臣,要全部杀死。这样,忽必烈巩固了他的汗位。
忽必烈平定阿里不哥后,把政治中心由和林搬到中原,他继续推行“双法”来改造蒙古国。1271年,忽必烈根据刘秉忠的建议,按《易经》五“乾元”(相大)的意思,把国号改为“大元”,这样元朝正式成立了,忽必烈就是元世祖。第二年,元世祖把燕京改为大都,作为元朝的首都。