辽神册元年（916）九月，辽太祖耶律阿保几率军征服阴山南北，在今托克托县古城村设置云内州，今青山区境属之。辽保大四年（1124），辽朝割下塞以北、阴山以南、乙室耶括部吐禄泺西之地给西夏，今青山区境属之。西夏元德八年（1126）二月，西夏派兵渡河攻占云内州等地，今青山区境属之。金天会七年（1129），金攻占云内州，今青山区境属之。

元太祖元年（1206），成吉思汗皇子木赤等率部占领云内、东胜等州，今青山区境等地归入元朝版图，属中书省大同路云内州管辖。

明洪武三年（1370），明朝派李文忠等率部北征，攻取云内州、东胜州、丰州，设置如旧制，今青山区境属大同路云内州管辖。明正统十四年（1449），丰州、云内州废弃，居民内迁。这一时期，鞑靼各部和瓦刺相继进入河套、土默川地区。明成化十五年（1479），满都鲁汗属下西部大酋脱罗干及其子火筛统领的蒙古族满官嗔（又称蒙古勒津）部驻牧今青山区境等地。明正德五年（1510），成吉思汗15世孙达延汗统一蒙古各部，分设左翼3万户和右翼3万户，今青山区境属达延汗孙阿勒坦汗统领的右翼3万户之一的土默特部。