北魏登国元年（386），拓跋珪即代王位。命长孙嵩为南部大人，统辖今青山区境等地。后封拓跋仪为九原公，领有今青山区境等地。

东魏天平元年（534），北魏分裂为东魏、西魏，今青山区境属东魏；北齐天保元年（550），北齐取代东魏，今青山区境属之；北周大象二年（580），北周灭北齐，统一北方，今青山区境为其辖地。

隋开皇元年（581），北周外戚杨坚建立隋朝，今青山区境属之；隋开皇五年（585），隋让东突厥守卫北方边境，南渡白道川（即今土默川），今青山区境为突厥人聚居区；隋开皇二十年（600），隋朝在今准格尔旗十二连城设置胜州榆林县，今青山区境属之；隋大业五年（609），改胜州为榆林郡，今青山区境属之。

唐武德元年（618），唐灭隋。唐贞观三年（629），唐太宗命李靖统兵出击突厥，获胜，将10万突厥人徙居今青山区境等地。置定襄、云中两都督府，以统其众。唐景龙二年（708），唐朔方大总管张仁愿在今内蒙古西部区黄河北岸建东、中、西3座受降城，拱卫河套，其中受降城在今九原区敖陶窑子古城。今青山区境属之。