卻也曾因水火盜賊以及朝廷政策等因素而或興或廢，再加上法門缺少龍象人才之際，道場就會遭到天災、人禍的破滅。譬如在清朝咸豐六年（一八五六年）到十一年（一八六一年）的前後五年之間，就遭到太平天國的石達開及李秀成兩度毀損。到一九四九年，新政府建國之後，百丈寺就僅剩下大雄寶殿和右側的兩棟寮房了。到了文化大革命期間，又遭一次徹底的破壞，而只剩下佛像和菩薩像的兩個基座。現在我們又能夠看到百丈祖庭的恢復，真是百感交集，但願今後的漢傳佛教，能夠走出一條千秋萬世、常住不滅的路來。