大小殿堂依山勢遞次而起，層層高升，錯落有致，組合得當，體現了古代創建和擴建寺院的技人工匠的慧心構思。」

這段文字使我們知道潭柘寺的建築布局，在有規則中也雜著無規則的布局。

我們下車之後，第一眼見到的就是著名的柘樹，據文獻記載的「柘樹千嶂」之句推測，在古代該寺周遭的柘樹，應該是遍山滿谷，到處都是，後來因為山下四周的民眾聽說柘樹的任何一部分，都是高貴的藥材，所以常常有人上山剝樹皮、挖樹根、採樹葉乃至將整棵的樹身盜取回家，漸漸地，珍貴的柘樹，幾乎招致滅種之禍。到了晚近，只剩下碩果僅存的幾株，最高的一株也只有五公尺左右，現已移植在寺前，圍以石築的欄杆，長的還算枝椏繁茂，生機勃勃。在石欄旁邊，培養著幾株小柘樹，僅一尺到二尺高而已。根據記載，樹皮是黃褐色，樹葉為橢圓形，枝頭會結出球形的果子，可是我們到訪的時候，才剛過清明，北方的氣候，尚未轉暖，只見到幾株光禿禿的裸樹而已。

山門之外有四棵橫臥的古松，因其形狀奇特，分別被命名為「清、奇、古、怪」。

該寺的牌樓為四柱三樓三洞的形式，金碧輝煌的牌坊，雄踞於漢白玉的基柱石上；牌樓頂上，覆有金黃色的琉璃瓦，凌翹的飛簷，