大禹时期，划天下为九州，今阿尔山市辖境在冀州境内。夏、商、西周时期，今市辖境为并州属地，是匈奴游牧地。春秋时期，今阿尔山市辖境为北狄属地。战国时期，市辖境为东胡属地。秦代设辽东郡，今阿尔山市辖境时属辽东郡，受乌桓校尉护节监领，为鲜卑游牧地。汉代，市辖境为幽州辽东郡管理，鲜卑属地。三国、两晋时期，市辖境为鲜卑宇文氏辖地。

南北朝时期，今阿尔山市境先后由北燕、柔然、突厥所控制。隋代，为东突厥与室韦两部分别控制。唐代，岭北地区为室韦都督府辖地，岭南地区为契丹属地。五代时期，为契丹领地，辽代隶属上京路。金代，隶属上京道，为蒙古塔塔儿部游牧地。元代，岭南地区地区为辽阳行省泰宁路辖地，岭北地区为岭北行省齐王部属地。明初，为鞑靼车臣部游牧地，后由奴尔干都司哈刺孩卫哈刺哈所管辖。清初，为喀尔喀游牧地。清中期，岭北地区划归黑龙江将军辖地呼伦贝尔总管辖区，岭南地区划归吉林将军辖地哲里木盟（今通辽市）札萨克图旗。