堯舜禹時(shí)，劃分星野，天地相應(yīng)。

此地上應(yīng)房星而稱“房”。

舜封堯子丹朱于此，為房邑。

禹治水，劃九州，房地屬豫州。

夏、商相沿。

西周稱房子國(guó)。

周景王十四年（前531）歸楚。

周敬王十五年（前505）稱吳房。

戰(zhàn)國(guó)時(shí)吳房亦稱畐焚。

秦始皇二十六年（前221）屬潁川郡。

三十三年（前214）改屬陳郡。

西漢高帝四年（前203）始置吳房縣，并于吳房東部置灈陽(yáng)縣（因處古灈水之北而得名），屬豫州部汝南郡。

三國(guó)時(shí)吳房、灈陽(yáng)二縣均屬豫州部汝南郡。

西晉相沿。

東晉十六國(guó)先后歸后趙、前燕、前秦、后秦。

南朝宋廢吳房縣，灈陽(yáng)縣屬司州部汝南郡。

后魏灈陽(yáng)縣為魏地，屬汝南郡。

北魏皇興二年（468）省灈陽(yáng)縣，置遂寧（今文城鄉(xiāng)小文城村）、義綏（今沈寨鎮(zhèn)小寨村西南）兩縣，屬豫州部襄城郡。

東魏相因。

北齊天寶四年（553）罷義綏縣入遂寧縣，仍屬豫州部襄城郡。

隋大業(yè)二年（606）改遂寧縣為吳房縣，屬豫州部汝南郡。

唐設(shè)道，改郡為州，吳房縣屬河南道蔡州。

貞觀元年（627）裁吳房縣。

八年（634）復(fù)置。

元和十二年（817），憲宗下詔“敕改蔡州吳房縣為遂平縣”，始有遂平之名，先屬溵州，后屬唐州。

長(zhǎng)慶元年（821）復(fù)隸蔡州。

五代十國(guó)相沿。

北宋屬京西北路蔡州。

南宋建炎三年（1129）廢遂平縣為吳房鎮(zhèn)，屬西平縣。

金皇統(tǒng)元年（1141）復(fù)置遂平縣，屬南京路蔡州鎮(zhèn)南軍。

泰和八年（1208）屬南京路蔡州鎮(zhèn)南軍節(jié)度。

元至元七年（1270）省遂平縣入汝陽(yáng)縣，屬蔡州。

三十年（1293）復(fù)置遂平縣，省蔡州為汝寧府，屬河南江北行省汝寧府。

明屬河南布政使司汝寧府。

清沿明制。

1913年屬豫南道。

1914年屬汝陽(yáng)道。

1927年直屬河南省。

1932年屬河南省第八行政督察區(qū)。

1948年2月與西平縣部分地區(qū)合組遂西縣。

6月遂、西兩縣分置，復(fù)為遂平縣。

1949年屬信陽(yáng)專區(qū)。

1965年屬駐馬店專區(qū)。

1969年屬駐馬店地區(qū)。

2000年屬地級(jí)駐馬店市。

2001年析出關(guān)王廟、諸市兩鄉(xiāng)劃歸駐馬店市驛城區(qū)。

2017年驛城區(qū)關(guān)王廟鄉(xiāng)的八里鋪村、潘莊村劃入遂平縣，成今境。