吳山岡巒嵯峨，石峰挺拔，其中以鎮西峰、大賢峰、靈應峰（最高峰，海拔1841.9米）、會仙峰、望輦峰最為高峻秀異，即史譽的"五峰挺秀"。酈道元在《水經註》中稱此山"疊秀雲天，崩戀傾返，山頂相捍，望之常有落勢"。
從周代開始，吳山就作為國之西鎮，隋開皇十六年（公元596年）開始設立吳山神廟。後歷代皇帝對吳山之神不斷加封，吳山之下的吳山廟規模也越來越大。解放前，僅廟院內的石刻就達150余通。
登臨吳山，奇峰間景致叠生，美不生收。從山腳下的西鎮吳山廟開始，沿壹水河入山，接踵而至的便是王師嶺、筆架山、天地犁溝、壹天門、西鎮靈湫、回心石、餐霞洞、閻王砭、判官池、手扒崖、玉皇湫、真人洞、大錦屏、小錦屏等四十余處勝景。特別是靈應峰下的"漾水崖"，細流掛於三十余米高的絕壁上，飛瀉飄蕩，隨風化珠，文人墨客譽景為"晴巖飛雨"。
如今的吳山，大多數古建築和碑刻遭劫毀沒，從西鎮吳山廟院存留下來的明、清時代的大鐘可以看出這座官家祠廟昔日的輝煌。山間石壁上，還留有古人摩刻的"雲根雨脈"、"五峰挺翠"等數處巖刻。近年來，壹些道教洞觀開始復興，國家批準建立吳山森林公園，已對外開放，接納各界朋友觀光旅遊。