顯神異。平日很少在寺中找到他，總是到處找人作東討酒喝。乃至不避魚肉，最後靈隱寺首座及執事們聽他說：「我連日在昇陽樓飲酒，新街里宿娼。」便造成了他離開靈隱寺投奔淨慈寺的結果。

說他宿娼，乃是順著俗人的意思，《濟顛語錄》有八句詩自述其心跡：

「每日貪盃又宿娼，風流和尚豈尋常。
任憑萬種風流態，惟有禪心似鐵堅。
暫借夫妻一宿眠，禪心淫慾不相連。
從來諸事不相關，獨有香醪真個貪。」


由此可知道濟禪師嗜酒是真的，宿娼貪色則未必。描寫他貪杯的還有詩說：

「何須林景勝瀟湘，祇須西湖化作酒。
和衣臥倒西湖邊，一浪來時吞一口。」


此在調侃他自己，嗜酒裝瘋，而富於文人的幻想。但他畢竟是圜悟克勤禪師的再傳，又是瞎堂慧遠佛海禪師的嫡傳，絕不至於瘋癲到不成體統的程度。而且當時南宋朝廷的高官顯貴，都喜與他交遊，除了一般信徒喜歡他，他也曾到永興寺、崇真寺、清溪道院等各佛道寺院盤桓，受到接納。縱然出格，不至於亂來。故於《北磵居簡禪師文集》中有一篇為道濟禪師寫的〈隱湖方圓叟舍利銘〉，