今准格尔旗地区，战国时东南部属魏上郡。秦始皇三十二年（公元前215年），北部划属云中郡，西部属上郡。西汉元朔二年（公元前127年），北部置沙南县，属云中郡；中部、西南部置美稷、富昌、广衍、谷罗等县，隶西河郡。西汉元鼎六年（公元前111年），西河郡治所在今准格尔旗纳林乡北古城。西汉五凤三年（公元前55年），西河属国都尉治美稷（今准格尔旗纳林乡北古城）。

东汉建武二十四年（48年），东汉王朝恢复西汉时的郡县，今旗境北部、东部属五原郡，东北部属云中郡，西南部属西河郡。东汉建武二十六年（50年）冬，使匈奴中郎将府置于美稷，南匈奴单于庭也立于美稷（治所今旗境内）。三国魏景元三年至西晋太康二年（262—281），今旗境为羌族驻地。东晋十六国时期，今旗境先后属后赵（羯族石氏）、前秦（氐族苻氏）、后秦（羌族姚氏）、夏（匈奴铁弗赫连氏）等国辖区朔州地。