清代屬寧古塔副都統(tǒng)轄區(qū)。

清光緒二十三年（1897）修筑中東鐵路，形成綏芬河鐵路附屬地。

中東鐵路通車后，此地始稱“五站”（由海參崴起到綏芬河為第五站）。

清光緒二十八年農(nóng)歷十二月（1903年1月），清政府設(shè)“總理綏芬河鐵路交涉分局”，正式使用“綏芬河”地名。

清光緒二十九年（1903），綏芬河地區(qū)（鐵路附屬地除外）屬綏芬廳興壤社。

清宣統(tǒng)元年（1909）屬東寧廳。

1913年3月屬東寧縣。

1917年寒蔥河、阜寧鎮(zhèn)區(qū)域，分別劃為東寧縣第四、第五區(qū)。

1921年2月，原綏芬河鐵路附屬地劃歸東省特別區(qū)第三區(qū)。

1923年3月綏芬河鐵路交涉分局改為綏芬河市政分局。

1926年東省特別區(qū)設(shè)綏芬河市。

1934年12月并入東寧縣。

1939年6月1日劃歸新設(shè)置的綏陽縣，設(shè)綏芬河街。

1948年10月綏陽縣并入東寧縣，東寧縣政府遷駐綏芬河，為第一區(qū)駐地。

1952年5月，東寧縣政府遷回東寧鎮(zhèn)，1953年9月改為第三區(qū)。

1956年4月，設(shè)置綏芬河鎮(zhèn)和寒蔥河鄉(xiāng)。

1958年9月，綏芬河鎮(zhèn)與寒蔥河鄉(xiāng)合并成立友好人民公社，1960年改稱綏芬河人民公社。

1965年2月，分設(shè)綏芬河鎮(zhèn)人民公社、建設(shè)人民公社。

1968年3月設(shè)立綏芬河區(qū)（縣級），由牡丹江地區(qū)管轄，同時撤銷綏芬河鎮(zhèn)人民公社、建設(shè)人民公社。

1970年2月恢復(fù)綏芬河鎮(zhèn)人民公社、建設(shè)人民公社。

1973年6月撤銷綏芬河區(qū)建置，并入東寧縣，設(shè)置綏芬河鎮(zhèn)。

1975年8月15日，以綏芬河鎮(zhèn)改設(shè)綏芬河市（縣級），歸牡丹江地區(qū)管轄。

1983年9月，改由牡丹江市代管，名稱沿用至今。