北魏太平贞君十年（449），今准格尔旗境属魏国辖地。北魏太和二十一年（497），今旗境分属朔州、夏州辖地。隋开皇二十年（600），设置胜州，治所榆林。隋大业三年（607），改胜州为榆林郡，郡治所榆林（今旗十二连城乡境），辖榆林县，富昌县（治所今旗境南部）和金河县（今托克托县）。

唐贞观元年（627），改隋榆林郡为胜州，州治所榆林（今旗境十二连城乡）；唐贞观三年（629），置河滨县（治所今旗东境）；贞观十三年（639），又置榆林关。五代十国时期，晋太祐五年（908）时，今旗境属晋，置胜州（治所今旗十二连城乡）；唐清泰元年（934），今旗境大部属契丹；汉乾祐二年（949）时，今旗境属后汉，仍置胜州（治所今旗十二连城乡）；周显德六年（959）时，后周仍置有胜州。