今牙克石市行政区域，秦朝属东胡，秦末西汉初属匈奴，汉至西晋属鲜卑，东晋、南北朝时属乌洛侯。隋朝，今市境属室韦。唐朝，今市境属河北道室韦都督府辖区。五代十国时，今市境属辽（契丹）辖区乌古部。辽天庆元年（1111），今市境属上京道乌古敌烈统军司辖区。金皇统二年（1142），今市境属上京路辖王纪刺部。金大定二十九年（1189），属广吉刺部地。元至元二十五年（1288），今市境属岭北行省齐王部辖地。明宣德八年（1433），今市境属奴儿干都司辖只儿蛮卫管辖范围。明万历十年（1582）时，属蒙古（当时称鞑靼）辖区内。

清雍正十年（1732），索伦（今鄂温克）等民族从大兴安岭以东布特哈（今扎兰屯市）地区迁至呼伦贝尔草原，建索伦左、右两翼八旗，左翼四旗，驻牧在通俄罗斯道路边境一带，大兴安岭以西地区为辖地。同年，在齐齐哈尔至呼伦城（今海拉尔区）之间设驿路台站10个（今牙克石市境内设5台）。清嘉庆二十五年（1820），今牙克石市境属呼伦贝尔总管管辖区内。