今镶黄旗地区，秦汉时为匈奴辖地，东汉时属鲜卑辖区，三国、西晋时属鲜卑拓跋氏政权统辖。东晋十六国时，代建国二十九年（366），今旗境为代政权统治区；前秦建元十八年（382），属前秦（氐族）统辖地；魏登国十年（395），属魏（鲜卑拓跋氏）统治区。南北朝时，北魏太和二十一年（497），今旗境属怀荒镇镇戍区域范围；东魏武定四年（546），今旗境基本上属柔然辖区；北齐武平三年（572），属突厥辖区范围内。

隋大业八年（612），今旗境基本为雁门郡管辖区边境。唐总章二年（669），今旗境属关内道单于都护府所辖桑乾都督府管辖区内；唐开元二十九年（741），属突厥统辖区；唐元和十五年（820），今旗境基本属卢龙节度使统辖区域内。五代十国时，今旗境为契丹辽统辖区内。

辽代，今旗境南部（包括新宝拉格镇），属奉圣州；北部属倒塌岭节度使司辖地，均隶属西京道。 金代，今旗境南部属宣德州，北部属汪古部，均隶属西京路。元朝时，今旗境属中书省兴和路宝昌州辖地，蒙古部落散居狩猎于此。

明正统十四年（1449），今旗境为蒙古（时称鞑靼）统辖区；明万历年间，为蒙古察哈尔部统辖地。清康熙十四年（1675），编为察哈尔左翼镶黄旗。清康熙年间，设置察哈尔商都牧群（为皇室伺养军用马，俗称“马群”）；明安牧群（为皇室饲养牛羊，俗称“牛羊群”，故有“皇室牧场”之称）。清乾隆二十六年（1761），设察哈尔都统（驻张家口），察哈尔镶黄旗和商都牧群等归其管辖。

民国元年（1912），沿袭清制。民国3年（1914），察哈尔左翼镶黄旗和商都牧群等归察哈尔特别区管辖。民国17年（1928），改隶察哈尔省。民国25年（1936）2月，将察哈尔商都牧群改建为商都旗，镶黄旗与商都旗隶属察哈尔省察哈尔盟管辖。民国26年（1937）秋，察哈尔省沦陷，察哈尔左翼镶黄旗和商都旗归属伪蒙古联盟自治政府（1939改“蒙疆联合自治政府”）察哈尔盟。此后，将镶黄旗改为商都旗。民国34年（1945）8月，日本投降后，复归察哈尔省管辖。同时，将商都旗分设为镶黄旗、商都旗，分别驻白音塔拉和新宝力格。