民国元年（1912），今牙克石市境大兴安岭以西归呼伦贝尔地方自治政府管辖，大兴安岭以东归布西设治局辖。民国4年（1915），隶属呼伦贝尔特别区管辖。民国9年（1920），大兴安岭以西归呼伦贝尔道尹公署辖，大兴安岭以东归西布特哈总管公署辖。民国15年（1926），属黑龙江省海满道管辖。民国18年（1929），大兴安岭以西归呼伦贝尔市政筹备处辖，大兴安岭以东归雅鲁县辖。

民国20年（1931），建满洲国，东北划19省，今牙克石市境内大兴安岭以西地区归伪兴安北分省辖，岭东归伪兴安东分省辖。民国23年（1934），大兴安岭以西归伪兴安北省索伦旗辖，大兴安岭以东归伪兴安东省布特哈旗辖。民国25年（1936），建伪牙克石街公所，属伪兴安北省索伦旗。

1945年10月，日本侵略军投降后，牙克石街由索伦旗划出，建街公署，直属呼伦贝尔自治政府管辖。1946年9月，牙克石街建立民主政府，隶属索伦旗。1947年5月，内蒙古自治政府成立，大兴安岭以西归呼伦贝尔盟（今呼伦贝尔市）政府辖，大兴安岭以东归纳文慕仁盟政府辖。1949年4月，岭东归呼伦贝尔纳文慕仁盟布特哈旗辖，岭西归索伦旗辖。