戰(zhàn)國初為代地和樓煩地，后為趙國屬地。

秦屬雁門郡，漢屬雁門郡、汪陶、陰館縣地。

靈帝時，因戰(zhàn)亂縣廢，西晉初為汪陶、陰館縣地，永嘉后縣又廢。

北魏為桑干郡桑干縣地。

北齊為神武郡，神武縣地。

北周為廣安郡神武縣地，隋為馬邑郡神武縣地。

唐初為朔州馬邑縣地。

后歸入應(yīng)洲金城縣。

五代隸屬寰洲和應(yīng)洲。

遼置河陰縣，以治所在桑干河之南得名，屬朔州。

清寧中改屬應(yīng)洲。

金大定七年（1167）改名山陰縣，取地處復(fù)宿山之北之意，金貞佑二年（1214）升山陰縣為忠州。

元至元年間，忠州城因水淹沒，縣地并入金城縣，后復(fù)置山陰縣，縣沿遷至今古城鎮(zhèn)。

明制稱山陰縣，屬應(yīng)洲。

清制為山陰縣，屬大同府。

民國初，山陰縣屬雁門道，后直隸山西省。

1937年，日軍侵占本縣，縣沿移至岱岳鎮(zhèn)，新中國成立后，山陰縣屬察哈爾省雁北專署。

1952年，山陰縣改屬山西省雁北專署。

1958年11月，山陰、應(yīng)縣合并為山陰縣。

縣政府駐岱岳鎮(zhèn)，1959年7月，應(yīng)縣、山陰分治。

1959年1月至1961年8月，雁北專署與忻縣專署。

合并為晉北專區(qū)。

本縣屬晉北專區(qū)，后復(fù)歸屬雁北專署。

1979年11月，恢復(fù)山陰縣，屬雁北專署。

1989年1月，山陰縣劃歸朔州市，沿用至今。