据史志载，北魏时期是群雄逐鹿的时代。北方漠南地区的各民族纷纷扩张自己的势力并建立政权。

北魏天兴五年（公元402年），柔然族首领社仑在征服漠北各部后建立起游牧部族的军事政权，自称丘豆伐可汗。可汗原是鲜卑族对贵人的尊称，社仑将其用作对最高统治者的称号，以后突厥、回纥、蒙古等族都沿用了下来。为适应军事征伐的需要，社仑决定效仿北魏，立军法，置战阵，整顿军队，建立可汗王庭。使柔然族迅速由部落联盟进入早期奴隶制阶段，后人亦称之为柔然汗国。

北魏天赐四年（公元407年），铁弗匈奴首领赫连勃勃叛秦自立，自称天王、大单于。赦免境内罪犯，建年号为龙升，设置和任用百官。赫连勃勃认为匈奴是夏后氏的后代，故国号为大夏。任命其长兄赫连右地代为丞相、代公；次兄赫连力俟提为大将军、魏公；叱干阿利为御史大夫、梁公；弟弟赫连阿利罗引为征南将军、司隶校尉；若门为尚书令；叱以鞑为征西将军、尚书左仆射；乙斗为征北将军、尚书右仆射，其余的人依次授任官职。辖地曾北达今内蒙古巴彦淖尔市乌加河以北地区，占有今内蒙古鄂尔多斯高原及河套周围地区。

北魏正光三年（公元522年），突厥酋长土门建立起突厥汗国。今内蒙古兴安盟地区为当时突厥汗国东界的一部分。

西魏废帝元年（公元552年），突厥灭掉柔然，以漠北为中心建立突厥汗国，首领阿史那土门自称伊利可汗。到木杆可汗在位时，汗国版图东至辽海以西，南抵阴山，西达中亚里海一带，北及贝加尔湖。今内蒙古阴山以北地区皆为当时突厥汗国所辖范围。