北魏时期（公元386—557年），鲜卑族拓跋珪在北方建立了北朝的第一个王朝。为防御北方柔然等族南下，拓跋珪开始修筑长城。北魏长城东起今河北省张家口市赤城县，经今内蒙古乌兰察布市南部、鄂尔多斯市东部，西至包头市西部，绵延200余里。并在今内蒙古地区设置了恒州（州治在今内蒙古乌兰察布市凉城县双古城，辖今内蒙古乌兰察布市察哈尔右翼前旗黄旗海、凉城县岱海以南地区）、朔州（州治在今内蒙古呼和浩特市和林格尔县北，辖今内蒙古呼和浩特平原、鄂尔多斯东北部地区）、夏州（州治在今内蒙古鄂尔多斯市乌审旗无定河左岸，辖今内蒙古鄂尔多斯大部分地区）、凉州（辖今内蒙古阿拉善盟额济纳河流域）。

北魏神麚二年（公元429年），太武帝拓跋焘分兵两路，取道黑山（今内蒙古呼和浩特市和林格尔县西北）和大娥山，大举攻打柔然，出奇制胜，俘虏敌军甚众。后在阴山一线设有6个军镇：沃野镇（今内蒙古巴彦淖尔市五原县北）、怀朔镇（今内蒙古包头市固阳县白灵淖乡城库伦）、武川镇（今内蒙古呼和浩特市武川县土城梁）、抚冥镇（今内蒙古乌兰察布市四子王旗乌兰花镇土城子）、柔玄镇（今内蒙古乌兰察布市兴和县台基庙东北）、怀荒镇（今河北省张家口市张北县）抵御北方部族入侵。