东汉末年到三国、晋朝、十六国时期，活动在北方草原的少数民族匈奴、鲜卑、羯、氐、羌----号称“五胡”，大多进入长城以南，移居黄河流域。他们互相争战或者与中原王朝较量，形成长时间战乱局面。魏晋时，今乌海地区为西部鲜卑所据，南北朝时为前凉、后凉、北凉所割据。

319年（东晋大（太）兴二年），羯族石勒强盛起来，尽得黄河流域中、下游广阔地区，建立后赵国。今海勃湾地区属后赵之朔州朔方郡。

366年（前秦建元二年），后赵被前秦、前燕所取代，河水以西归前秦，为氐族苻坚所统治。海勃湾地区属前秦朔方郡。

395年（后秦皇初二年），羌族姚兴部兴起，夺得前秦西部地区，称为后秦。姚兴在北部广阔地区设朔方郡，辖今海勃湾地区。

391年（东晋太元十六年），魏王拓跋魏攻打朔方郡（辖今巴盟南部和伊盟北部）的铁弗部刘卫辰。卫辰被打败后部众四散，辖地尽失，变成魏的统治地域。

407年（东晋义熙三年），匈奴族铁弗部首领赫连勃勃强盛，在今鄂尔多斯市、陕西北部地区建立胡夏国，建都于统万城（今陕西靖边县北，俗称白城子），辖地曾北达黄河，置幽州于大城（今伊盟杭锦旗东南），占有今巴盟南部、鄂尔多斯高原。

431年（夏胜光四年），夏国被北魏拓跋鲜卑族所灭，辖境归北魏。