公元前221年，秦王嬴政灭齐，结束了战国时期七国争雄的局面，统一了中原地区，建立了第一个党中央集权制国家——秦朝，称始皇帝。秦朝建立以后，春秋战国以来的郡县制得到进一步完善，秦朝在全国设立了36个郡，其中有8个郡涉及到内蒙古。分别是辽西郡（今辽宁省义县西）、渔阳郡（今北京市密云县西南）、上谷郡（今河北省张家口市）、雁门郡（今山西省右玉县南）、云中郡（今内蒙古呼和浩特市托克托县东北）、九原郡（今内蒙古包头市麻池古城）、上郡（今陕西省东部）、右北平郡（今赤峰市宁城县西南），并在郡下设县。

秦始皇三十二年（公元前215年），派大将蒙恬率30万大军北击匈奴，夺取河南地（今内蒙古巴彦淖尔市乌加河以南及鄂尔多斯地区），并以黄河（今乌加河）为塞，沿河筑34城，把内地的囚犯迁徙于此，充实新城，称新秦中。

秦始皇三十五年（公元前212年），秦王嬴政派蒙恬修筑直道，由距咸阳附近的云阳县（今陕西省淳化县西北）甘泉山，沿子午岭、鄂尔多斯高原至九原郡，全长1800里。至秦二世元年（公元前209年），直道竣工，成为连接关中平原与河套地区的要道（秦直道遗址纵贯今内蒙古鄂尔多斯市乌审旗、伊金霍洛旗、经东胜区西南进入达拉特旗，在黄河南岸昭君坟过黄河，到达秦九原郡治所）。派扶苏、蒙恬率大军镇守九原郡。至此，鄂尔多斯高原大部分地区归入秦国控制，秦长城内线的内蒙古鄂尔多斯市伊金霍洛旗和准格尔旗大部分的土地都归秦上郡管辖。

古代的内蒙古是北方匈奴的生存地，他们很早以前就在此建立了自己的政权。秦朝建立之初，匈奴保持着战国时期的活动范围，今内蒙古大部分地区都在匈奴的控制之下。据史志载：在秦二世元年（公元前209年），北方匈奴首领冒顿弑父头曼，自立为单于，设单于庭于漠南，确立氏族世袭制度。在冒顿单于统治时期，其控制地区东至辽河、西至葱岭、北抵贝加尔湖、南抵长城。在中国北部，以漠北为中心建立游牧性质的奴隶制政权。匈奴建立起自己的奴隶制政权后，不断出击，以扩大自己的游牧区。