东汉初，李兴等拥立依附匈奴的卢芳为天子，建都于五原郡九原县（今九原区麻池古城），据有五原、朔方、云中、定襄、雁门等5郡。其时，今青山区境为五原郡九原县北境。

东汉建武十三年（公元37年），卢芳逃亡匈奴。留守九原的隋昱归降汉朝，汉朝任命隋昱为五原太守，封镌胡侯。今青山区境属之。为充实边陲郡县，东汉建武二十六年（公元50年），东汉命云中、五原、朔方等八郡边民各还本土，其郡县恢复如前。区境仍为五原郡九原县北境。

东汉建安二十年（公元215年），撤销五原、云中等四郡建置，原每郡置一县，合为新兴郡，内迁山西忻州。今青山区境等地遂被鲜卑族占据。

西晋永嘉四年（公元310年），晋怀帝封鲜卑拓跋猗卢为代公。今青山区境属之。

代建国三十九年（公元376年），前秦灭代，分代为二部。西部归匈奴刘卫辰统辖。今青山区境属之。