民国元年（1912），沿袭清末旧制，今阿尔山市辖境岭南地区由吉林省划入黑龙江省。民国5年（1916）2月，黑龙江省设索伦山宣抚局，隶属龙江道，今市境岭南地区划入索伦山宣抚局辖。民国6年（1917）3月15日，黑龙江省撤销索伦山宣抚局，改设索伦山设治局，辖区不变。

民国21年（1932）6月，伪满洲国设索伦县，取代索伦山设治局，其辖区不变。今阿尔山市境岭南地区划入索伦县。同年，伪满州国设兴安局。8月，兴安局改称兴安总署，下辖兴安南分省、兴安北分省、兴安东分省，兴安西分省。今阿尔山市岭北地区划入兴安北分省，仍属新巴尔虎左旗（时称东新巴尔虎），岭南地区划入兴安东分省，仍属索伦县。民国22年（1933）2月1日，索伦县改称喜扎嘎尔旗，仍辖有岭南地区。

1946年1月16日，东蒙古自治政府和兴安盟政府成立，喜扎嘎尔旗隶属兴安盟，阿尔山岭南地区随喜扎嘎尔旗划归兴安盟。阿尔山及岭北地区归呼伦贝尔盟（今呼伦贝尔市）新巴尔虎左旗。4月，东蒙古自治政府成立东蒙古林业公司，在五岔沟设办事处。1947年5月1日，内蒙古自治政府成立。5月25日，兴安盟撤销，其辖区划为内蒙古自治政府直辖区。东蒙古林业公司改称内蒙古兴安林矿局，在白狼设林矿分局（后改称林务分局）。