1260年三月，元世祖忽必烈在开平召集忽里台，即大汗位，建元中统，任用汉地士人，建立起中书省、十路宣抚司以及负责中原汉地政务的燕京行中书省等行政机构，巩固了在中原地区的统治地位。阿里不哥也在漠北召开忽里台，称汗，据有漠北地区。驻军六盘山的蒙古军主帅浑都海、奉蒙哥命主管陕西政务的刘太平，以及四川蒙古军的一些将领，拥护阿里不哥为汗，企图以秦蜀之地响应。忽必烈遣廉希宪为京兆等路宣抚使，急驰赴任，杀刘太平、霍鲁海和四川军中附阿里不哥的将领。不久，诸王合丹、汪良臣等合军，击败浑都海和逾漠南下应援的阿蓝答儿，于是完全控制了关陇川蜀地区。同时，忽必烈亲自率师北征，前锋移相哥败阿里不哥军，迫使他退守吉利吉思。次年秋，阿里不哥又移师东还，袭败移相哥，大举南进，与忽必烈激战于昔木土脑儿，双方死伤相当，各自退兵。因忽必烈切断了汉地对漠北的物资供应，阿里不哥陷于窘境，便派阿鲁忽(察合台孙)前往主持察合台兀鲁思。但阿鲁忽取得汗位后，拒绝向阿里不哥提供物资，并扣留其使者，于是阿里不哥举兵西击阿鲁忽，残破亦列河(伊犁河)流域。至元元年(1264)，阿里不哥众叛亲离，势穷力竭，向忽必烈投降。至此，忽必烈终于控制了岭北局势，并将势力伸入畏兀儿地区。
忽必烈在与阿里不哥争位战争之初，即已承认旭烈兀对阿母河以西土地的统治权，原来由大汗直接领有的波斯诸地遂变为大汗的宗藩伊利汗国。伊利汗国与立国于钦察草原的术赤后王之间又为领土争端爆发了长期战争。大蒙古国分裂了。
中原汉地成为忽必烈政权的重心，他顺应时势，全面推行“汉法”，改革蒙古统治者对汉地的统治方式。1262年，山东行省大都督李理趁北边有战事，结宋为外援，占据济南，并企图策动华北各地诸侯响应。忽必烈调集重兵围攻济南，七月城破，李王童被杀。忽必烈因势利导，罢世侯，置牧守，分民、兵之治，废州郡官世袭，行迁转法。由于中原各地数十年专制一方的大小诸侯的势力受到限制和削弱，中央集权获得加强。中统、至元之初，元廷博采汉族士大夫建议，遵循中原传统制度，同时也采取了充分保障蒙古统治者特殊权益的各种措施，大体奠定了元朝一代政制的规模。中统四年(1263)，以开平为上都。至元元年，升燕京为中都。四年，始于中都旧城东北建造新城。至元八年十一月，诏告天下，正式建国号大元。九年，升中都为大都。
北方政局稳定后，忽必烈决定采用南宋降将刘整建议，先拔襄阳，浮汉水入长江，进取南宋。至元五年(1268),命阿术、刘整督师，围困隔汉水相望的襄、樊重镇，襄樊军民拒守孤城达六年。至元十年初，元军攻下樊城，襄阳守帅吕文焕出降。次年六月，忽必烈命伯颜督诸军，分两路大举南进。左军由合答节度，以刘整为前锋，由淮西出师。伯颜本人与阿术领右军主力，九月，自襄阳出发，沿汉水入长江同时，命董文炳自淮西正阳南逼安庆，以为呼应。十二月，元水师入长江，克宋江防要塞阳逻堡。宋汉鄂舟师统帅夏贵遁，汉阳、鄂州宋军降。伯颜分兵留阿里海牙经略荆湖，自领水陆大军顺流而东，以吕文焕为前锋。宋沿江诸帅多为吕氏旧部，皆不战而降。十二年二月，贾似道被迫督诸路精兵，抵御元军。这时，他仍企图奉币称臣议和，被伯颜拒绝，只好在池州下游丁家洲勉强与元军会战。因宋军内部不和，一触即溃。同年秋，伯颜从建康(今江苏南京)、镇江一线分兵三路趋宋都临安(今浙江杭州)。十三年正月，宋幼帝赵燕上表降元，宋亡。十六年，完全占领四川，又追灭南宋卫王于崖山，完成了全国的统一。元朝的统一，结束了自唐末藩镇割据以来国内的南北对峙、五六个民族政权长期并存的分裂和战乱局面，推动了多民族统一国家的巩固和发展。