南北朝北魏时，北魏太和二十一年（497），今阿拉善左旗为簿骨律镇镇戍范围；西魏大统十二年（546），今旗境属西魏；北周（宇文氏）建德元年（572），今旗境属北周。隋朝时，隋大业三年（607）以后，今旗境南部属武威郡和灵武郡；吉兰泰以北归东突厥。唐朝时期，唐总章二年（669），今旗境东部黄河西岸部分区域属灵州，其余大部区域属呼延都督府管辖，隶关内道单于都护府；唐开元二十九年（741），今旗境东部黄河西岸部分区域属灵州朔方节度使；西南部区域属陇右道凉州河西节度使，中北部区域属突厥。宋真宗景德中，今旗境属西夏，置“贺兰山防区坚军”；西夏贞观十一年（1111），西夏置白马强镇军司，治所娄博贝（今旗吉兰泰）。元朝时，今旗境属甘肃行省兀剌海路管辖。明朝为袄尔都司辖区，后成为大清皇帝的牧马场。蒙古霍硕特部原居新疆，后移驻青海。