濟南的靈巖山、天臺的國清寺，並稱為天下山水四絕；也有人把它形容為金陵第一明秀山。古人因為此山多藥草，可以攝生，故稱為攝山。

棲霞山的寺院，開創於劉宋明帝泰始年間（西元四六五～四七一年），有一位隱士在山中結草為庵，居住二十多年；隱士謝世後，僧人法度來此，便以此草庵為道場，號為棲霞精舍。

前面所說的隱士他的次子仲璋，與法度比丘，共同發心，在攝山西峯的石壁，穿鑿龕窟，雕造了一尊無量壽佛坐像，高三丈一尺五寸，坐寬四丈，還有兩尊菩薩像，也高達三丈三寸；這是棲霞山石窟造像的開始。後來歷經南齊、蕭梁等各朝，都有增加石窟造像的數量，而成了有名的千佛巖。

有關該寺千佛巖的情況，如今在其巖前，有一塊石碑，說明如下：「千佛巖開鑿于南齊永明二年（西元四八四年），至明朝歷代都有增鑿修繕。現存大小佛龕二百五十四個，佛像五百五十三尊，號稱千佛巖。民國十三年（西元一九二四年），寺僧以水泥塗附佛像，雖失原貌，但仍留存六朝時代遺風。」

所謂「寺僧以水泥塗附佛像」，就是指後來應聘至香港東蓮覺苑弘法的若舜長老。在他住持棲霞山時，不忍佛菩薩像殘缺，所以用水泥填補裝修，以致反而破壞了古代的藝術作品。從宗教信仰的立場看這樁事是對的；