靈山縣古稱南賓縣。因縣治西有靈山（今稱六峰山）而得名。據(jù)（清）楊丕復《輿地沿革表》記載：“縣治西有靈山，（唐）移南賓縣治此山下，故名靈山縣�！碧铺鞂氃�年（742），改南賓縣為靈山縣。以縣治附近有靈山，故稱靈山縣。