夏商時(shí)期，巨地屬徐州北境。
西周時(shí)期，為魯國(guó)地。
春秋時(shí)期，巨野境內(nèi)有昌邑、咸丘邑、垂葭邑。
戰(zhàn)國(guó)時(shí)期，前475年，屬宋國(guó)，前286年，改屬齊國(guó)。
秦朝時(shí)期，始皇二十六年（前221），置昌邑縣，（在今巨野縣東南昌邑集）屬碭郡。
西漢初期，巨野境內(nèi)有昌邑縣。
西漢中期增置巨野縣和乘氏縣。
漢景帝中元六年（前144），分梁國(guó)為5國(guó)，于昌邑置山陽(yáng)國(guó)，昌邑縣，巨野縣均屬之。
漢武帝建元五年（前136），改山陽(yáng)國(guó)為山陽(yáng)郡。
昌邑、巨野兩縣屬之。
漢宣帝元平元年（前74），撤消昌邑國(guó)，為山陽(yáng)郡。
昌邑、巨野隨屬。
新莽始建國(guó)元年，為巨野郡，治巨野，巨野、昌邑仍屬之。
漢光武帝劉秀建武元年（25）撤消巨野郡，恢復(fù)山陽(yáng)郡，昌邑、巨野屬之。
東漢初，昌邑為兗州刺史部治所。
三國(guó)時(shí)期，巨野、昌邑兩縣屬山陽(yáng)郡。
晉朝時(shí)期，晉武帝泰始元年（265），改山陽(yáng)郡為高平國(guó)，治昌邑。
巨野、昌邑屬之。
南北朝時(shí)期，巨野先屬南朝高平郡，后屬北魏任城郡。
永初元年（420），撤消昌邑，并入金鄉(xiāng)縣。
北齊撤消巨野縣，其地入乘氏、金鄉(xiāng)二縣。
隋朝時(shí)期，開(kāi)皇十六年（596），恢復(fù)巨野縣，和昌邑縣并于乘氏故城置乘丘縣。
隋煬帝大業(yè)二年（606），又廢乘丘并入巨野縣，屬鄆州東平郡；廢昌邑入金鄉(xiāng)，屬曹州濟(jì)陽(yáng)郡。
唐朝時(shí)期，武德四年（621），于巨野置麟州，復(fù)置乘丘縣為屬縣。
武德五年（622），撤消麟州，復(fù)置昌邑縣。
巨野、乘丘二縣同屬鄆州。
昌邑縣屬戴州。
武德八年（625），撤消昌邑縣，入金鄉(xiāng)縣屬魯郡。
（從此無(wú)昌邑縣）。
唐貞觀元年（627），省乘丘入巨野，屬戴州。
貞觀十七年（643）屬戴州，巨野仍屬鄆州。
五代時(shí)期，后周廣順二年（952）移濟(jì)州于巨野縣城，巨野、金鄉(xiāng)屬之。
宋朝時(shí)期，巨野、金鄉(xiāng)縣屬濟(jì)州、濟(jì)陽(yáng)郡，郡治巨野。
金朝時(shí)期，金、天德二年（1150），黃河大決口，淹沒(méi)巨野，濟(jì)州遷往任城并撤消巨野縣，百姓分別遷至濟(jì)州之鄆城、嘉祥、金鄉(xiāng)三縣。
元朝時(shí)期，至元六年（1269），恢復(fù)巨野縣，濟(jì)州亦由任城遷回巨野。
至元八年（1271），升濟(jì)州為濟(jì)寧府。
至元十六年（1279），升府為濟(jì)寧路。
至正八年（1348），黃河大決口，巨野再次被水淹沒(méi)，遂遷濟(jì)寧路于濟(jì)州（任城），遷縣治于城北刑家務(wù)。
明朝時(shí)期（1374），黃水淹沒(méi)巨野，至洪武九年（1376）消退，縣治由刑家務(wù)遷入巨野縣城，重建縣公署。
洪武十八年（1385），兗州升為府，濟(jì)寧降為州，巨野縣隨濟(jì)寧州屬兗州府。
清朝時(shí)期，雍正八年（1730），巨野縣改屬曹州直隸州。
雍正十三年（1735）升曹州為曹州府，巨野縣屬之。
民國(guó)時(shí)期，1914年，巨野縣屬濟(jì)寧道。
1928年廢除道制，巨野直屬省。
1929年，于菏澤置山東省第二區(qū)行政督察專員公署，巨野縣屬之。
1938年，山東省第二區(qū)行政督察專員公署分為第十、第十一、第十二專署，巨野屬第十專署。
抗日戰(zhàn)爭(zhēng)時(shí)期，1939年7月中共蘇魯豫區(qū)黨委于巨(野)、菏(澤)、金(鄉(xiāng))、定(陶)、成(武)5縣結(jié)合部建立巨菏金定成五縣邊抗日民主政權(quán)，同年9月撤銷。
1941年2月建立巨野縣抗日民主政府，屬同時(shí)成立的巨菏金嘉成五縣聯(lián)合辦事處管轄，1943年1月屬晉冀魯豫邊區(qū)第二十一(湖西)專區(qū)和五縣聯(lián)辦雙重管轄。
1942年2月于巨野、菏澤鄰接地區(qū)建立巨菏抗日辦事處，屬魯西行政區(qū)第二專區(qū)；1942年6月正式改為巨菏縣，12月巨菏縣與鄆南縣合并建立鄆鄄巨菏四縣邊區(qū)(縣)，屬晉冀魯豫第十七專區(qū)；1943年11月該四邊縣改建為臨澤縣，隸屬不變；1944年12月自臨澤縣析置鄆(城)巨(野)縣，仍以鄆鄄巨菏四縣邊區(qū)為其行政區(qū)域，屬冀魯豫行政區(qū)第八(運(yùn)西)專區(qū)第二辦事處管轄。
1943年初于巨野與金鄉(xiāng)結(jié)合部建立金巨縣，屬晉冀魯豫邊區(qū)第二十一(湖西)專區(qū)和巨南(巨菏金嘉成)五縣邊聯(lián)合辦事處雙重管轄。
1946年1月巨野與金巨2縣均屬冀魯豫行政區(qū)第七專區(qū)(運(yùn)西地區(qū)東部)。
同年3月撤銷金巨縣，改建巨南縣，屬冀魯豫第三(湖西)專區(qū)；巨野縣屬冀魯豫第二(運(yùn)西)專區(qū)。
1948年4月巨野縣屬冀魯豫第第七專區(qū)。
1949年8月巨野縣屬平原省湖西專區(qū)；撤銷鄆巨縣，東部并入巨野，其余并入菏澤和鄆城縣；撤銷巨南縣，北部并入巨野，其余并入成武縣。
1952年11月隨湖西專區(qū)劃歸山東省。
1953年8月撤銷湖西專區(qū)，巨野轉(zhuǎn)屬菏澤專區(qū)。
1958年12月改屬濟(jì)寧專區(qū)。
1959年7月復(fù)屬菏澤專區(qū)(1967年改稱菏澤地區(qū))。
2000年6月屬地級(jí)菏澤市。