汉袭秦制，汉高祖刘邦把漠南地区视为要地，不断地在此扩大自己的势力范围，建立自己的地方政权。西汉时期，汉朝在今内蒙古部分地区设立了地方政权，实行郡县制，西至东置有张掖、朔方、五原、定襄、上郡、西河、代郡、上谷、右北平和辽西等郡。除郡县外，汉朝又在此设置了5个属国，以安置附汉的匈奴人。

据史志载，为争夺漠南地区，汉朝和匈奴发生了多次军事冲突。汉高祖刘邦六年（公元前201年），汉将夏侯婴率兵攻打代郡，至武泉、云中。是年，刘邦以太原郡、雁门郡31县作为韩王封地。汉文帝刘恒十四年（公元前166年），匈奴14万骑兵攻河南（黄河南），杀死汉朝北地都尉，俘掠众多百姓与大批牲畜。汉文帝刘恒后元六年（公元前158年）冬，匈奴3万骑入上郡，3万骑入云中，杀掠吏民甚众而去。汉朝也不示弱，采取针锋相对的方针。公元前156年，汉景帝刘启即位，调遣李广为陇西（今甘肃省北部）、北地、雁门、云中太守。汉武帝刘彻元朔二年（公元前127年），汉朝派车骑将军卫青、李息出云中至高厥，收河南地，置朔方郡（今内蒙古鄂尔多斯市杭锦旗北），并改秦朝所置九原郡为五原郡。调集10万人修筑朔方郡、五原郡卫所。汉武帝刘彻元狩二年（公元前121年），匈奴浑邪王率其众4万余人降汉，汉置其众于云中、朔方等地，设五属国，其中上郡属国、西河属国、五原属国在今内蒙古境内。

汉武帝元封五年（公元前106年），在秦朝郡县制的基础上，将全国划分为13个监察区，因其长官名称刺史，又称十三刺史部、十三州。在凉、朔方、并、幽等刺史部的管辖下，从西至东，设张掖郡、朔方郡（郡治在今内蒙古巴彦淖尔市乌拉特前旗）、云中郡（郡治在今内蒙古呼和浩特市托克托县古城村古城）、定襄郡（郡治在今内蒙古呼和浩特市和林格尔县土城子古城）、上郡（郡治在今陕西省榆林县东南）、西河郡（郡治在今内蒙古鄂尔多斯市杭锦旗霍洛柴登古城）、雁门郡（郡治在今山西省左云、右玉二县南）、代郡（郡治在今河北省蔚县西南）、上谷郡（郡治在今河北省怀来县东南）、右北平郡（郡治在今宁城县黑城村古城）、辽西郡（郡治在今辽宁省锦州市西）。汉武帝太初元年（公元前104年），在今乌拉特中旗呼热苏木所在地置塞外受降城。汉朝又于汉宣帝五凤三年（公元前55年），设置西河属国都尉（治美稷，在今内蒙古鄂尔多斯市准格尔旗纳林镇古城）及北地属国都尉（治所在今宁夏境内），以安置匈奴的归附者。

东汉光武帝刘秀称帝后，同样十分关注漠南这块沃土，并不断加强自己的势力范围。公元前25年，刘秀建立东汉王朝。东汉继承西汉郡县制，仍分全国为十三刺史部，但刺史的地位、职能、权力已不同于西汉。东汉十三州长官有其固定治所，掌握升降地方官吏的大权，逐步成为地方行政长官。东汉变西汉郡县二级制为州、郡、县三级制。东汉并州、凉州和幽州等所属郡县，辖今内蒙古中西部地区的有：张掖居延属国（治居延，在今内蒙古阿拉善盟额济纳旗东南），属凉州；五原郡（治九原，在今包头市及鄂尔多斯东北部地区），属并州；朔方郡（治三封，在今内蒙古巴彦淖尔市磴口县北），属并州；云中郡，属并州；定襄郡，属并州；西河郡，属并州；上郡，属并州；雁门郡，属并州；代郡，属幽州。

匈奴是第一个崛起于蒙古高原的游牧部族，草原生态环境和特有的游牧生活赋予了这些马背民族能征善战的特质。至冒顿单于时期，匈奴陆续征服东胡、月氏、楼烦、丁零、鬲昆等游牧民族。势力范围东尽辽河，西穷西域，南达黄河中游，北抵贝加尔湖，建立了游牧民族的第一个奴隶制国家。秦朝建立之初，匈奴保持着战国时期的活动范围，今内蒙古的大部分地区当时都在匈奴的控制之下。秦亡之后，中原地区战乱频繁，匈奴得以发展，并且向四方扩张领土。

在匈奴政权机构中，单于为国家最高首领。单于掌控部落一切军政大权。单于之下设左右贤王、左右大将军、左右大都尉、左右大当户。单于之下的左右贤王是地方最高长官，有世袭领地。左右贤王辖区内有左右谷蠡王、左右大将、左右大当户和左右骨都侯等。

匈奴把统治地区分为东、中、西三部分，实行左右翼区划制。东边从上谷郡（郡治在今河北省张家口市怀来县）以北，东至辽河流域，包括今内蒙古锡林郭勒草原、西拉木伦河、老哈河流域；科尔沁草原和呼伦贝尔草原的大部分是左贤王等左方将军的游牧区。左贤王庭在汉朝的上谷郡正北，约在今内蒙古锡林郭勒盟中部一带。西边从上郡（郡治在今陕西省榆林市南）以北，西至葱岭，包括今内蒙古鄂尔多斯高原、黄河以北地区；巴丹吉林沙漠和额济纳河流域是右贤王等右方将军的游牧区。右贤王庭在汉朝的上郡正北，约在今内蒙古鄂尔多斯及巴彦淖尔南部一带。

东汉建武二十四年（公元48年）春，匈奴八部议定拥立日逐王比为呼韩邪单于，以五原塞为单于驻地，表示愿意作为东汉北部的守备兵，以抵御北匈奴。冬十月，南北匈奴分裂，比立为南单于，遣使至汉称臣。