东汉建武二十三年（47），匈奴莫犍日逐王比请求归附汉朝。翌年，被漠南匈奴八部拥立为南单于，南单于庭建在西河郡美稷县（今准格尔旗纳林乡古城），遂称“南匈奴”。以后，南匈奴部众广布北边各郡游牧，鄂尔多斯地区一度成为南匈奴的政治经济中心。东汉建武二十四年（48），东汉王朝设置“使匈奴中郎将”，与南单于庭同驻一城，处理边地军政事务。

东汉时期，将今鄂尔多斯地区分属诸郡：今杭锦旗大部属朔方郡，所辖朔方县治所在今杭锦旗北境内；达拉特旗和准格尔旗北部一带属五原郡，置有河阴县、曼柏县、武都县，治所均在今达拉特旗境内；准格尔旗东北部置有沙南县，属云中郡；东胜区、伊金霍洛旗和准格尔旗大部属西河郡，所辖美稷、平定、祯林、广衍等县，治所约在今东胜区、准格尔旗境内，或与今伊金霍洛旗交界处；乌审旗和伊金霍洛旗南部属上郡，所辖奢延县治所在今乌审旗南境内。

三国、西晋时期，今鄂尔多斯地区为羌族政权所统辖。西晋元康五年（295），鲜卑拓跋禄官继承大酋长后，其侄猗卢带兵过黄河击败匈奴人和乌桓人，占领今鄂尔多斯地区。东晋十六国时期，今鄂尔多斯地区，先后为后赵（羯族石氏）、前秦（氐族苻氏）、后秦（羌族姚氏）等政权所统辖。