萬曆十一年春（一五八三），大師在石室結束了水齋，回想起在五臺山所做的二次佛事影響很大，以致遠近皆知。古人說：「大名之下，必難久居。」因此，大師決定避開五臺山的虛聲，走隱居修持的道路。
以前大師曾閱讀過《華嚴疏、菩薩住處品》，裏面說：「東海有處，名那羅延窟，從昔以來，諸菩薩眾，於中止住。」清涼國師解釋說：「梵語那羅延，此云堅牢，即東海之牢山也。」從此大師對牢山一直很羡慕。這時大師開始實踐到牢山去的願望，他蹈東海訪尋牢山，並開始使用「憨山」這久已取好的號。
大師到了牢山，尋到那羅延願，因為無法住人，就再去尋最深隱的地方。在山的南面，池尋到一處背負群山，面吞大海的幽靜勝地，這裏的景色十分壯觀奇絕，使人有遠離人間煙火的仙境妙域之感。
這裏原有一座觀音庵，因遭歷史浩劫，早已成為廢墟。大師在樹下鋪了一張蓆，在露天下坐了七個月。後來當地土人張大心居土見大師在露天下勤苦修行，就為他蓋了一間茅屋，大師住下後，再也無人往來，因此感到十分滿意。
到了第二年秋天，李太后因五台祈皇嗣有功，訪求主事的三位師傅。大方法師與妙峰大師已接受了惠賜，惟尋不到憨山大師。太后決心要訪大師，就求龍華寺住持端庵法師去尋。端庵法師已知大師在牢山，就乘船去訪大師。當他到了大師茅屋裏並向大師敘述太后的心意時，大師卻懇謝說：「倘使能蒙太后的恩德，容許我在這山海之間安居，已經恩賜很多了，又何必求其他的恩賜呢？」端庵法師聽了只得回去覆命。
太后聽了端庵法師的話，心裏還是不好過，就在京城西山建了一座寺院，派內使一定要大師前來，可是大師決意住山。太后沒辦法，知大師仍住茅屋，即拔了三千金派內使送去修建房屋。大師盡力制止說：「我有這幾間茅屋已經夠快樂了，又何必再另造房屋呢？」大師不受分文，使內使十分為難，只恐回去交不了差。大師見他為難，心裏想：「主人有矯詔濟饑之事，現在牢山東區正值歲凶，為何不可廣聖母的慈心而救饑餓的百世呢？」就與內使把這三千金遍施各府的僧侶、孤老、獄囚，以濟饑餓。太后聽內使彙報說已將三千金救濟困厄，內心高興地連連感歎。
牢山附近的百姓，從來不知有僧寶以及佛教正法。大師居住的地方，算黃氏族人口最多，他們見大師精進修行，心裏非常敬佩，慢慢地和大師接近起來。經過大師的努力攝化，那裏的羅清教徒和外道教派的師長們，都相繼率領他們的弟子來歸依大師，漸漸地他們明白了其正佛法的修行意義。
萬曆十四年，神宗皇上敕頒藏經十五部，散施於天下名山。首先以四部置四邊境，即東海牢山、南海普陀、西蜀峨眉、北疆蘆芽。李太后派人送藏經到東海牢山，大師因事先不知道，以致藏經送到時無處安置，這時地方撫台等官吏見狀便請來供奉起來。大師見有敕命，只得到京謝恩，太后與宮中眷屬各出銀兩供養大師，讓大師在牢山修建安置藏經的寺院，並預先取名為海印寺。
大師在京聽說達觀大師到牢山訪問他，立即兼程趕回。剛回到牢山腳下，正遇達觀大師下山，立刻邀他同回禪室。兩人談禪論道，法味盎然，這樣達觀大師在此盤桓了二十多日才回去。臨去時，還贈了一首詩給大師，其中有：「閑來居海上，名誤落山東」的句子。
到了冬天，冰天雪地，好一派海天風光。有一個夜晚，大師打坐後起來散步，看見湛藍的大海，澄徹的夜空，洞然一大光明藏，了無一物，即刻作了一首偈：
海湛空澄雪月光，
此中凡聖絕行藏。
金剛眼突空花落，
大地都歸寂滅場。
大師回轉靜室後，見案頭放著一本《楞嚴經》，展開經卷，當見到：「汝心汝身，外及山河虛空大地，咸是妙明真心中物」全經的觀境，頓時了然心目。他便振筆疾書，片刻之間已把心中所證全部寫了出來，取名為《楞嚴懸鏡》。一見蠟燭才檄了半支，這時大師叫維那進來，叫他念了一遍，聽著聽著，大師自己也像是聽著夢中話一樣。
一天，大師想起《六祖壇經》中半夜砍頭的公案，便想學習六祖的定力。大師每夜開門習觀想：「假使人來借頭，我便歡直地捨給他。」這樣時間長了，覺得定力漸深。一個晚上，忽然有人嚷著：「強盜來了。」大師鎮定他說，「把強盜叫來！」他點燃蠟燭，正襟危坐，沒有絲毫的恐怖心，這時身材高大的強盜到了大師門口，見大師威嚴無比，一下子沒了氣焰，身體匍匐不敢入門，大師對他說：「這裏沒有什麼東西。」又叫侍者到庫房裏取二百錢給了強盜，這強盜便帶著敬佩的心情離開了海印寺。
第二年，牢山建成了殿宇，大師開始開堂為大眾說戒。從此四方的和尚到海印寺的日益增多，接著大師又為居士們講解《心經》弟子記錄成《心經直說》。秋天，胡順庵告老還鄉，送他兒子到海印寺出家為大師侍者，法名為福善，是大師弟子中成就最高的一位。