“阿拉善”是贺兰山之音转。贺兰山原是以匈奴贺兰部落命名的山名，是地域名称。建盟行政公署时取其名为阿拉善盟，管辖阿拉善地区和额济纳地区。

阿拉善盟区域，在历史上是军政要地。秦始皇帝时，阿拉善东部（今阿拉善左旗巴彦木仁苏木等）属北地郡管辖；今阿拉善左旗敖伦布拉格苏木等属九原郡西部辖地；其余大部为匈奴辖区。额济纳地区，秦朝称“居延”“居延泽”。西汉元年（公元前206年），今阿拉善盟境为匈奴右贤王等右方王将的统领区。西汉元封五年（公元前106年），今盟境东部少部分（阿拉善左旗东北部分）区域属朔方郡，东部沿黄河西岸部分地区属北地郡，南部（今阿拉善左旗南部和阿拉善右旗东南部部分）区域属武威郡，西及西南部（今额济纳旗和阿拉善右旗南部少部分）区域属张掖郡。张掖郡领居延县（治所约在今额济纳旗巴彦陶来农牧场浩宁呼布南15公里处），辖今额济纳河流域。

西汉太初三年（公元前102年），使强驽都尉路博德驻守居延，筑居延烽火燧、“遮虏障”及诸塞候宫。发戌甲卒十八万到河西，北置居延、肩水两都尉（居延都尉治居延城，今额济纳旗巴彦陶来农牧场浩宁呼布南15公里；肩水都尉在肩水金关，今甘肃省金塔县北境）。后改置居延属国统辖今额济纳地区。东汉安帝时，置张掖居延属国，治所居延，隶属凉州刺使部。东汉献帝建安末改立西海郡。