西汉元朔二年（公元前127年），汉朝收复河南地。设置朔方郡，郡治朔方（今杭锦旗北境；有记载，在今巴彦淖尔市磴口县陶升井麻弥图古城），辖境包括今鄂尔多斯市西北部地区；沿置上郡，郡治肤施（在今陕西省榆林市东南），辖境包括今乌审旗、鄂托克前旗东部地区；改秦九原郡为五原郡，郡治九原（今包头市西，有记载在今乌拉特前旗三顶账房古城），辖境包括今鄂尔多斯市东北部地区；沿置云中郡，郡治云中（在今呼和浩特市托克托县古城村），辖境包括今鄂尔多斯市东北部部分地区。

西汉元鼎六年（公元前111年），西河郡郡治在今准格尔旗纳林乡北古城；西汉元封五年（公元前106年），郡治在今杭锦旗霍洛柴登古城，辖境包括今杭锦旗东部、伊金霍洛旗、东胜区和准格尔旗等地区。西汉元狩二年（公元前121年），汉武帝为安置作战时投归汉朝的匈奴人，在沿边五郡设立属国，其中涉及鄂尔多斯地区的有上郡属国、西河属国、五原属国。