栂牟礼城(とがむれじょう)主佐伯氏の時代(栂牟礼は現在の佐伯市弥生)、城下の南西部・樫野かしのの里に永福山安養寺と呼ばれる佐伯氏の菩提寺があった。 西の小高い山上には阿弥陀堂が燦然と輝いて西方浄土を現出し 佐伯氏歴代の厚い信仰を集めていた。
永禄年間(1558-1570)の頃、佐伯氏は事情があって一時この地を離れ法灯は途絶え寺は荒廃、大友宗麟(1530-1587)はこれを嘆いて昌誉上人を遣わし、樫野の隣村・高畑の地を選んで新たな堂塔の建立を企図した。昌誉上人は中途で没したが、その弟子深誉が師の遺業を継ぎ完成させた。 その際、開山昌誉上人の法名をとって嶺雲山と号し、佐伯氏の菩提寺安養寺に因んで安養院潮谷寺と称することになった。
その後、佐伯藩初代藩主毛利高政が佐伯城(鶴屋城)を築いた当時のこと、江戸の増上寺から佐伯に下って来た登誉上人が、高畑にあり荒れ果てていた潮谷寺を慶長18年(1613)佐伯城下の現在の地に移して再興した。
本尊阿弥陀如来は秘仏で仏師定朝の作と伝えられている。本尊が秘仏であり常には参拝できないことから、佐伯藩6代藩主毛利高慶もうりたかやすがお前立の阿弥陀仏像を寄進した。