西晉武帝泰始四年（二六八年）條下說：「沙門竺法崇，至湘州麓山，廟神請授淨戒，舍廟為寺。」可見此寺應為湖南佛教的發源地。

至隋、唐、五代之世，麓山寺曾經有許多文學家拜訪，寫詩吟唱，傳誦千古，包括杜甫、劉長卿、韓愈、宋知問等；因此以麓山寺做為題材的詩文相當多，留下的詩篇和詩集也不少。其中以杜甫所寫的〈岳麓道林二寺行〉一詩最為著名。因為麓山寺文風很盛，有它傳統的精神，所以歷代都有幾位詩僧的名字被留傳下來。在我的印象中，湖南人都很有文才，滿腹經綸，出口成章，下筆千言，倚馬可待，湖南真是個人文薈萃之地。

而在第八世紀時，該寺曾經出了一位大乘和尚，他曾經和從印度到西藏的蓮花戒辯論，雖在西藏史上說大乘和尚辯論失敗，但是從敦煌石窟發現的漢文手抄本《頓悟大乘正理決》中的記載，大乘和尚不但沒有辯論失敗，反而名享西藏，甚至還有西藏人跟他出家。而且直到現在，藏傳佛教所用的大手印修行法門，幾乎和禪宗的頓悟法門一致，應該就是大乘和尚傳到藏地去的。到了明末時代的神宗皇帝，敕名該寺為「萬壽寺」。明末四大師之一的憨山德清，也曾到此寺講過經。

到了一九四九年，該寺和全國其他寺院的命運相同，