文明年間、宇多津に創建された。天正16年、三番丁（現在の正覚寺の地）に移る。正保年間に藩主・松平頼重が菩提寺として再興をしはじめた。承応3年（1654年）に落成式を行ったが、その夜火災に遭って消失する。8月に再興された。明暦元年（1665年）、10世・縁蓮社三誉によって高松中央公園付近に移転して伽藍を再興したが、12月にまた火災に遭ったため、翌年現在地より300mのところへ移転再建された。万治元年に寺領百石を寄付されたが、寛文元年に頼重の父である頼房が没して位牌を寺に安置することになり、寛文6年に改めて300石を寄付された。
頼重やその妻・皎月院にはじまる歴代の位牌を安置する乾英閣があったが、明治維新にともなって取り壊され、門（常楽門）のみが小学校に残されている。
昭和20年（1945年）、空襲によって焼失した。4年後に都市計画をうけ、現在地へ移転して再建された。
養通院・護念院・称名院・寿国院といった塔頭があったが、現在は中野町にある柿木庵のみとなっている。
