隋开皇七年（587），置榆林县（治所今准格尔旗东北十二连城古城）。隋开皇二十年（600），分云州置胜州，辖区相当今准格尔旗、达拉特旗、伊金霍洛旗、东胜等。隋大业三年（607），改胜州为榆林郡，治所榆林（今准格尔旗东北十二连城古城），下辖榆林、富昌等县。

隋大业八年（612），在今鄂尔多斯市境置有朔方郡（治所岩绿），辖有岩绿县（今乌审旗境）、长泽县（今鄂托克前旗城川苏木）等县；在今杭锦旗北部边沿设五原郡，下辖九原县等；今鄂托克旗、鄂托克前旗西境沿黄河地区属当时灵武郡（治所今宁夏回族自治区灵武市）辖之怀远、灵武等县管辖；今鄂托克旗中东部、鄂托克前旗中南部一带地区属盐川郡（治所五原，今陕西省定边县）管辖。