我們雖已有了一棟破屋，卻未改善貧窮的困境，除了我從日本帶來的一千多冊書，可謂家徒四壁，沒有桌椅、沒有床鋪、沒有廚具、連打坐的布墊也沒有，於是在每天傍晚上馬路邊拾荒。紐約這個大都會也真可愛，沒有錢去店裡購買，路邊便可撿到我們所需要的東西，包括蔬菜、麵包、水果。直到現在，我們尚有幾樣工具和桌椅是當年從垃圾堆中撿來的。

我們不僅缺錢，也缺人手，在紐約跟我學過禪坐聽過課的東西方人士，已有四千多人，但是美國社會的流動性大，自始沒有離開的基本會員，並不很多。尤其是早期的兩位美籍出家弟子，由於和我生長的社會背景互異，生活習慣不同，彼此學習適應，都得付出很多耐心，我要從如何買菜、煮飯、穿衣、洗補教起，然後課誦、唱念、法器的練習，同時彼此互相學習語文，他們跟我練習翻譯經典，熟悉佛教徒的禮儀以及僧尼的威儀。這兩位青年聰明好學，並且原先已有了中文及佛學的基礎。可是共住兩三年之後，便分別離開了。東初禪寺因此而遭遇了無人看守的困擾，當我回紐約期間，不會沒有人來，當我回去臺北的時段，曾經幾乎要關門大吉。幸好每當緊急關頭，便會有人進來暫住照顧，在一九八三年至一九八六年之間，先後曾有李佩光、程麗梅、程麗櫻、石昭嫻、茜拉、瑪拉，還有越南籍的清海比丘尼等為東初禪寺常住的住眾。