今额尔古纳市区域，战国、秦代为东胡驻地，汉代为匈奴左贤王庭辖地。三国、西晋、后魏为鲜卑部落联盟东部辖地。东晋、南北朝属乌洛侯、室韦，隋唐时期为蒙兀室韦部落驻地。唐开元二十九年（741），今市境属河北道室韦都督府辖西部室韦地。五代晋天福八年（943），今市境北部属韈劫子，南部属辽（契丹）辖区乌古部地。

辽天庆元年（1111），今市境属上京道乌古敌烈统军司辖区内。金泰和八年（1208），今市境归东北路招讨司所辖，为扎答兰部和翁吉刺部驻地。元至顺元年（1330），今市境归岭北行省合林路所辖。明永乐元年至宣德八年（1403—1433），今市境属奴尔干都指挥使司下设的坚河卫（今根河）所辖。

清嘉庆二十五年（1820），今市境大部属呼伦贝尔总管辖区，沿额尔古纳河有珠尔干河、牛耳河、毕拉尔河、莫黑勒克、珠尔特依、西伯勒布拉克、巴彦鲁克等多个居民点和村落；北部今恩和哈达镇属黑龙江副都统辖区西部地。清光绪三十四年（1908），设置吉拉林设治局，治所在今市室韦镇，管理境内行政、边务事宜。