伊金霍洛，蒙古语意为“圣主陵园”，以境内成吉思汗陵园命名旗的名称。今旗境在秦时属上郡北部地，西汉时分属西河郡大成县、罗谷县、虎猛县（今红庆河乡）。东汉时今旗境分属西河郡广衍等县和朔方郡大成县。三国、西晋时今旗境属羌族政权统辖地。东晋十六国时，今旗境为后赵、前秦、后秦辖地。夏龙升三年（409）时，今旗境属夏幽州辖地。北魏属夏州化政郡；北周属弘化郡。隋朝时，今旗为榆林郡富昌县地。唐朝时属胜州河滨县和夏州。

五代十国时，晋天祐五年（908），今旗境阿勒腾席热镇以东地区属晋辖地；以西地区属契丹辖地。周显得六年（959）时，今旗境阿勒腾席热镇以东地区属后周胜州地，以西地区属辽。宋初为胜州辖地，后为西夏胜州、夏州辖地。元朝至顺元年（1330）时，今旗境基本上属陕西行省延安路北境。明宣德八年（1433），今旗境属陕西辖地。明正德五年（1510），统属蒙古鄂尔多斯万户。明末，鄂尔多斯第六代济农额璘臣率部众归顺后金。