採用他自己家鄉江南的民居「灰磚瓦白石灰牆」的風格，加以改良，即成了現代化的建築。

這個飯店，共有四棟建築三個庭院，每棟建築不論從前看或後看，都有各自的院落，有的庭院是依山鑿池，引水成湖，有的庭院則從雲南選取高貴的天然奇石布置。本來這種石頭已禁止開採，以保護原地的自然景觀，經過貝聿銘向大陸高層官員的要求而特許開採，專車運送，大者數十噸重，小的也有噸把重，錯落的排列在院中，感覺非常的雅致。

建築之時，對原地的樹木，也是愛護備至。有棵松樹，非常重要，因為當時國民政府的北京地區防衛司令傅作義將軍，向中共投降之時，曾和毛澤東見面會談，那時的地點，就是在香山飯店的這棵樹下。這對中國共產黨是棵值得紀念的樹，而於國民黨則是令人傷懷的樹。

貝聿銘為了保留另外一棵松樹的枝椏，同時也為了在庭院內能看到四周的環山景觀，所以本來計畫要為香山飯店建築四到五層的高樓，結果建到三層就停止了。因此香山飯店的佔地面積共有三萬平方公尺，客房只有三百多間。

庭院中另有一處景觀，是貝聿銘得意的傑作，叫作「一樹三影」。也就是在一棵松樹的前面有水池，後面有白牆，當陽光斜照之時，水中有倒影和牆上有陰影，加上樹的本身，便形成了一幅奇妙的圖畫。