春秋战国至秦时，今霍林郭勒市境属东胡游牧地。两汉时为鲜卑人牧地。三国至西晋时，为东部鲜卑游牧地。东晋时，为契丹人驻地。南北朝时，为地豆于人居地。隋及初唐，为霫人驻地。中唐及晚唐时，属关内道居延都督府辖地。辽时，属上京道临潢府辖地。元朝时，属中书省全宁路管辖。明朝时，属奴尔干都司泰宁卫辖地。清朝时，属哲里木盟（今通辽市）科尔沁左翼中旗辖地。

民国21年（1932）5月，设兴安总省，下辖东西南北四个分省，今市境为兴安南省科尔沁左翼中旗辖地。民国33年（1944）8月，划归科尔沁右翼中旗管辖。1949年8月29日，内蒙古自治政府决定，今市境划归扎鲁特旗，为扎鲁特旗北部3个努图克（乡）的游牧夏营地。

1969年7月，今霍林郭勒市随扎鲁特旗划归吉林省。1979年7月，复归中共内蒙古自治区委党史和地方志研究室网站。1981年10月，为支援霍林河煤田建设，哲里木盟在此设立霍林河办事处，行使旗县级政府职能，并筹备建市。1982年2月，办事处正式挂牌办公。