可是這裡比較特別，以關聖帝君像取代韋馱菩薩像。因為民間傳說關老爺成聖之後，就成了把守南天門的天神，而南嶽衡山頂上，真有一座南天門。另外寺內還有兩個特色，一個是南嶽聖君殿，當中供著南嶽聖君像，實際上這就是南嶽衡山的山神。又因為民間傳說衡山就是長壽山，也就是壽星山，譬如中國人在祝壽時常說的「壽比南山」的南山，就是指的南嶽衡山。所以寺內還有一座藥師殿，當中供著藥師佛像，聽說非常靈驗，有很多人為了求延壽、求消災，都到這座藥師像前去祈禱發願。

至於為什麼要把這座寺院稱做祝聖寺，除了和把南嶽當做長壽山的信仰有關，和清朝康熙皇帝也有關係。據說這座寺廟原來是夏朝以治水著稱的大禹所修建的「清冷宮」，本來是祀奉舜帝。後來到唐朝時，專修彌陀淨土的承遠大師（七一二－八〇二年）在這裡創建了佛教寺院，改稱為「彌陀台寺」。此寺在唐武宗（八四五年）滅佛時被毀，到五代十國時，楚王加以修復，改名為「報國寺」。在宋徽宗時代，一度改為道教的宮觀，名為「神霄宮」。沒有多久，復原為佛教道場，改名為「勝業寺」。然後在清朝康熙四十四年（一七〇五年），湖南巡撫趙申喬，因聽說皇帝要到南方巡視，便大興土木，把這座寺院擴建成了一座規模宏大的皇帝行宮。後來因為康熙沒有來，才復原為佛教道場，名為「祝聖寺」，