西汉高祖十一年（公元前196年），设置武城县（治所在今清水河县城关镇偏西北）、桐过县（治所在今县小缸房乡上城湾村附近），骆县（治所在今县城关镇南），隶属定襄郡。东汉时期定襄郡治迁移至善元（今山西省境内），上述三县仍在今清水河县境。

三国西晋时，今县境属拓跋鲜卑辖地。东晋前秦建元十八年（382）时，今县境为前秦（氐族苻氏）政权统辖地。北魏登国元年（386），鲜卑拓跋珪建都城盛乐时，今县境为都畿内地。北魏太和二十一年（497），设置昆新城（在今县境古城坡上），其后置有尖山县（在今县城南）、树颓县（在今县东北），均隶属朔州。

隋大业八年（612），今县境浑河南部地属马邑郡，浑河北今喇嘛湾镇、王桂窑乡属定襄郡（治所在今和林格尔县）。唐朝时今县境为胜州河滨县之河东辖境，有河滨关即古君子津。又设唐龙镇（在今县西南，濒于黄河，为戍守之地）。