新石器时代，今巴林左旗地域为红山文化先民（距今约5000—6500年）、富河文化先民（距今约6000年前）繁衍生息地。富河文化以巴林左旗富河镇富河沟门村考古文化类型命名。秦汉时期先后为东胡民族居地、乌桓民族发祥地、鲜卑民族居地。魏晋南北朝时期先后为东部鲜卑、契丹民族居地。隋朝时期为契丹民族居地。唐朝时期始有行政建置。

唐贞观二十二年（648），唐朝在契丹本土设置羁縻政区，置羁縻1府10州，旗域置羁縻10州之羽陵州，州府在查干哈达苏木石房子嘎查一带，为旗域行政建置之始，先后隶属唐朝营州都督府、东夷都护府、营州都督府。周万岁通天元年（696），羽陵州与其他1府9州并废。唐开元四年（716），唐朝在契丹本土复置羁縻松漠州都督府及9州，旗域复置羽陵州，先后隶属唐朝后营州都督府、营州都督府、后营州都督府、营州都督府、押奚契丹两蕃渤海黑水等四府经略处置使。唐宝应元年（762），唐朝在契丹本土置羁縻府州并废，旗域置羁縻羽陵州前后共95年。此后旗域为契丹八部之迭剌部世居领地。

契丹辽太祖元年（907），契丹八部酋长共推耶律阿保机为联盟“大人”，建立契丹国。翌年（908），建明王楼（今巴林左旗林东镇南遗址）。辽神册元年（916），契丹人在此建立辽朝。辽神册三年（918），以龙眉官为中心开始营建皇都（今林东镇南）。辽天显十三年（938），契丹改国号大辽，对皇都再次扩建定名上京，并置临潢府（治所在今林东镇南波罗城故址）。