汉代在武川县南境有：莎尔登古城（今武川县青山乡），是控制山前（土默川）与山后（草地）的要道（古城遗址中发现有汉代的陶片、大口陶罐等）；土城子古城（今武川县庙沟乡），城东北为山河环绕，西南有孤山作屏障，东通黑牛沟，南达美岱沟，北通草地。武川县北境为匈奴统辖地。

东汉时，今武川县境为鲜卑族统辖地。三国、西晋时，今武川县境为拓跋鲜卑政权统治区内。东晋十六国时期，代建国二十九年（366），今武川县境属代统治区内；前秦建元十八年（382），今武川县境属前秦（氐族苻氏）政权统辖区内。北魏太延五年（439），北魏王朝设置武川镇（治所今县大青山乡），是北魏前期在都城平城（今山西大同东北）以北边境设置的六个军镇之一。

隋朝，今武川县境属定襄郡辖区内。唐朝，今武川县境属单于都护府北境。辽代，今武川县境属丰州“兼领山北地”。金代，今武川县境属净州天山县。元朝，置有甸城（古名白道谷，今称蜈蚣坝），在今大青山乡与呼和浩特市攸攸板乡交界地带，称这里是甸城路（后人所记：“为归武二县交通孔道”）。明朝，为土默特部驻牧地。