敕命河南王為檀越，再興寺門，又改名為神通寺。到了唐太宗貞觀十五年（西元六四一年），義淨三藏（西元六三五-七一三年）七歲的時候，就到該寺親近善遇及慧智兩位善知識，後來有關該寺的沿革就不清楚了。

目前的神通寺遺址，是在一個山谷裡邊，由於文物單位主張保存它的原狀，不准在原處重建，目的是為了考古，認為在遺址的底下可能還埋藏有什麼古代的文物。現任的謝玉堂市長就在山谷下的入口處，興建了目前的神通寺以及四門塔賓館，而現在神通寺的四周可以看到的幾項古建築，就只有四門塔、朗公塔（又稱龍虎塔）以及歷任住持的墓塔。現在神通寺的廢墟中，還留有元朝大德十年（西元一三〇六年），至治二年（西元一三二二年）以及明朝成化十年（西元一四七四年）所留的石碑銘文，以此可知，在元、明兩代的神通寺，還是被重建過的。至於遺址後側山壁上的摩崖石刻，雖稱為千佛崖，實際僅有兩百多尊石雕像，是魏、晉到隋、唐時代的雕像。

其中的四門塔，本來不知道它是建於何時，學者們推測屬於唐代的建築，不過由於幾年前相關單位對它做了一次非常徹底的修繕。在塔頂上面，發現一塊大方石的右下角刻有「大業七年」（西元六一一年）四個字，這才確定這座塔的創建年代，因此也推測裡面塔心柱四周的四尊石雕佛像，大概也是這個年代完成的。