今锡林浩特市境，秦朝基本属匈奴辖区，西汉基本属乌桓辖区，东汉属鲜卑辖境，三国属东部鲜卑辖境，西晋为鲜卑统辖地。东晋十六国时，代建国二十九年（366），今市境西部、南部属代（鲜卑拓跋氏）政权统辖区，今市境东部约属库莫奚辖区。前秦（氐族苻氏）建元十八年（382），今市境西、南部地区属前秦政权统辖区，东及东北部属库莫奚辖区。魏登国十年（395），今市境西、南部地区属魏政权统辖区。北魏太和二十一年（497），今市境西、南部属北魏御夷镇镇戍区；东部约属库莫奚。东魏和北周（宇文氏）时，今市境西部属柔然；东部约属库莫奚。

隋朝，今市境属突厥政权辖区。唐总章二年（669），今市境属桑乾都督府辖区，隶属单于都护府。唐开元二十九年（741）时，今市境为突厥政权统辖区。辽代，为上京道辖区。金代，属临潢府路西部地。元朝，今市境属中书省应昌府管辖，境内设失儿古鲁站。明永乐十一年至宣德五年（1413—1430），今市境基本属蒙古（时称鞑靼）统辖区；明万历十年（1582），今市境属察哈尔统辖区，蒙古阿巴嘎纳尔等部的游牧地。

清顺治八年（1651），编成阿巴嘎左旗（辖有相当今市境西部）；清顺治十年（1653），编成浩济特右旗（辖有相当今市境锡林河下游地）；清康熙四年（1665），编成阿巴嘎纳尔左旗（辖有今市境东部地）；清康熙六年（1667），编成阿巴嘎纳尔右旗。这四旗各设札萨克掌理旗务，隶属锡林郭勒盟。清乾隆八年（1743），建贝子庙。清嘉庆年间，锡林郭勒盟衙署迁驻贝子庙。