這座寺院原名「迎祥寺」，因為它是坐落於「石鐘寺」南面的鉢盂山下，而又得名「鉢盂庵」，該寺創建於明朝嘉靖年間（西元一五二二～一五六六年），明末萬曆五年（西元一五七七年），理學家、文學家也是佛教禪宗的學者李卓吾，出任姚安知府，曾落腳於此，並且著有《鉢盂庵聽經喜雨》、《念佛堂答問》、《二十分識》等詩文。後人也曾經為他在祝聖寺建了一座「李卓吾先生談禪樓」，作為紀念。