隋末天下擾亂，王世充擁兵據於少林寺之西北五十里的柏谷墅，秦王李世民（後之唐太宗）出兵征戰中，寺僧志操、惠瑒、曇宗等十三人，助戰得力，獲得秦王嘉許，此殆為少林寺知名於武林，而被目為武林宗主的主因。明末則有該寺小山和尚掛帥出征以及月空和尚平倭寇的傳說，因此而在福建創立少林寺的別院，武林稱為南少林。元代少林寺的常住僧眾，多達兩千人，清代以後，漸趨於沒落。

史載，唐高宗及則天武后對少林寺均有關愛，唐中宗世，寺主義奘及上座智寶等，屈請義淨、護、暉、恪、威之諸律師，及瑳、思、恂之諸禪師，於該寺結戒壇。元世祖時，曹洞宗的雪庭福裕，中興該寺，門下有靈隱文泰相繼，嗣後依次住持者有古岩普就、息菴義讓、淳拙文才、凝然了改、俱空契斌、月舟文載、幻休常潤、無言正道、心悅慧喜等，各振洞上玄風。

該寺在清世宗雍正十三年（西元一七三五年）重修，至民國十七年（西元一九二八年）三月，惡魔石友三，火燬少林寺，連燒四十多天，主要建築如天王殿、大雄殿、法堂，以及兩廂的鐘樓、鼓樓、緊那羅王殿、六祖殿、香積廚、庫房、東西禪堂、客堂、靜室、十方堂、跋陀（佛陀禪師）殿等，均付之一炬。《少林寺誌》、《掌譜》、《藏經》、達摩面壁影石等珍貴文物，皆成灰燼。