唐至清代均屬太平鄉(xiāng)，地跨光臨里、清河里、安仁上中里。

民國(guó)初期為第四區(qū)。

1935年編查保甲設(shè)潘渡、貴安2個(gè)聯(lián)保，屬第一區(qū)署。

1940年改設(shè)潘渡鄉(xiāng)和溪港鄉(xiāng)。

1943年2月后兩鄉(xiāng)合并為潘溪鄉(xiāng)。

新中國(guó)成立后設(shè)第四區(qū)。

1955年改潘渡區(qū)。

1958年7月撤區(qū)，分設(shè)潘渡、坡西、小滄3鄉(xiāng)。

同年9月各自成立人民公社。

1960年1月三社合并為潘渡公社。

1961年6月析出小滄公社。

1972年1月赤石大隊(duì)劃屬蓼沿公社。

1984年撤社建潘渡鄉(xiāng)。

2020年6月28日撤鄉(xiāng)設(shè)鎮(zhèn)，調(diào)整后行政區(qū)域不變。