公元310年，拓跋猗卢因助击骚扰西晋郡县的白部鲜卑和铁弗匈奴有功，被西晋封为代公，并得到西晋划给的陉岭以北五县之地。315年，猗卢以盛乐为北都，平城（今山西省大同市）为南都，建立政权，自称代王。势力所及包括今内蒙古中部土默特平原、乌兰察布高原、锡林郭勒盟高原部分地区及晋察冀北部地区。316年，猗卢被儿子刺杀，统治集团发生内讧，势力一度衰弱，辖地缩小。直至338年，什翼鞬即代王位，设置百官，制定法律，结束内乱，才正式建立代国政权。公元337年，鲜卑慕容部首领慕容廆之子慕容皝自称燕王，建立前燕政权。340年（东晋成帝司马衍咸康六年），代王拓跋什翼鞬定都盛乐，筑新城，开始定居（今土默特平原为京畿地区）。不久，前燕同鲜卑段部、宇文部发生战争；338年消灭段部，344年吞并宇文部，控制今西拉木伦河和老哈河流域，并在其统辖地区设置郡县。

在东晋时代，羯族人也在漠南区生息，并不断地强盛起来。据史志载：公元319年（东晋元帝司马睿太兴二年），羯族人石勒自称赵王（后走）；公元330年（东晋成帝司马衍咸和五年），羯族首领石勒建立后赵政权，自称大赵天王，行皇帝事，与东晋以淮水（今安徽省淮海）为界。后设置朔州朔方郡（辖今鄂尔多斯市和巴彦淖尔市乌加河以南地区）。公元366年（东晋废帝司马奕太和元年），后赵被前秦、前燕所取代，淮海水以西归前秦，为氐族苻坚所统治，该地区属前秦朔方郡沃野县。

东晋年间，契丹人逐渐强盛起来。公元344年（东晋康帝司马岳建元二年），契丹从鲜卑部族分离独立，自号“契丹”，其领地在库莫奚以东、和龙（今辽宁省朝阳市）以北数百里（今西拉木伦河下游南部）。

东晋时期，北方民族在逐渐强大的同时，纷纷起来自立为王，建立政权。公元354年（东晋穆帝司马聃永和十年），张祚自称凉王，建立前凉政权，在辖区内设有西海郡（辖今额济纳旗地区）。前凉政权占有今阿拉善盟部分地区。公元384年（东晋孝武帝司马曜太元初年），慕容垂称帝，建都中山（今河北省定县），建立后燕政权，辖地包括今赤峰市南部地区。是年，羌人姚苌自称秦王。公元386年称帝，建立后秦政权，建都长安（其辖地包括巴彦淖尔市乌加河以南及鄂尔多斯地区）。