新石器时代，今阿鲁科尔沁旗境内就有人类活动，形成居住村落。宝力召发现远古人居住遗址。夏商时期为竹、商等东夷繁衍生息的地方。春秋战国至秦时期，为东胡活动地域。汉至晋时期，为乌桓和鲜卑所居。阿鲁科尔沁乌桓山（今乌兰大坝山），是乌桓族发祥地。东汉元和二年（85年）以后，为鲜卑人所居。隋唐时期，为霫和契丹住地。辽代，为上京道乌州，为耶律羽的家族分地。金时期，为大定府北境，后为泰州属北京路。

元代，为辽王封地。初隶辽阳行中书省泰宁府，后升为路，改隶中书省领泰宁路。明朝时期，初为潢水兀良哈地泰宁卫领辖。到16世纪中叶，达延汗的曾孙达赉逊库登率部东迁到西拉木伦河流域。明嘉靖二十五年（1546），游牧于额尔古纳河、海拉尔河和呼伦贝尔湖一带的阿鲁科尔沁部昆都伦岱青率部迁居，始号为阿鲁科尔沁之地。明嘉靖四十三年至崇祯三年（1564—1630），隶属于“北元”察哈尔部。后金时期，天聪四年（1630），阿鲁科尔沁部长达赉暨子穆彰率属投归后金。天聪八年（1634），在阿鲁科尔沁部设两旗。清崇德元年（1636），并为一旗，称阿鲁科尔沁旗。清崇德四年（1639），建“扎衮乌达楚古拉干”，即昭乌达盟（今赤峰市）。阿鲁科尔沁旗隶于昭乌达盟。清康熙四十二年（1703）建热河行宫后，受热河都统管辖。