西漢至三國魏時(shí)，金山鎮(zhèn)境域?qū)傥渫す藐翱h。
西晉至十六國“五涼”時(shí)期，分屬武興郡晏然縣和武興縣。
北魏至隋初，分屬武威郡林中縣和襄城縣。
唐宋年間，分屬神鳥縣和嘉麟縣。
元時(shí)，屬永昌路西涼州。
明清時(shí)期，先后歸涼州衛(wèi)和武威縣。
民國元年（1912年）后，屬武威縣豐樂鄉(xiāng)。
1949年9月后，屬豐樂區(qū)。
1952年7月，屬第八區(qū)（豐樂）。
1956年1月，為金山鄉(xiāng)。
1958年10月，與截河壩、青林鄉(xiāng)合并成立豐樂公社。
1962年，成立金山公社。
1983年7月，設(shè)金山鄉(xiāng)。
2018年3月，撤鄉(xiāng)，設(shè)金山鎮(zhèn)。