泰山街道前身為泰山鎮(zhèn)和浦口街道，明代以前同屬六合縣孝義鄉(xiāng)。

明洪武四年（1371），建浦口城，洪武九年（1376）劃入江浦縣。

1927年，南門鎮(zhèn)(即古浦口城)從江浦縣劃出，改稱南京市浦口商埠管理處；1937年，復(fù)屬江浦縣。

1950年，南門鎮(zhèn)和北鎮(zhèn)合并，成立浦口鎮(zhèn)。

1989年，東門鎮(zhèn)和三河鄉(xiāng)合并，命名泰山鎮(zhèn)；浦口鎮(zhèn)改稱浦口街道。

2002年11月，撤銷泰山鎮(zhèn)、浦口街道建制，以原兩鎮(zhèn)街所轄區(qū)域，成立南京市浦口區(qū)泰山街道，地名沿用至今。