当寺の開創は古く、鎌倉時代の右大将源頼朝公の重臣・工藤祐経公の嫡男犬房丸が開基である。犬房丸公は初め孤島に配流され、後に東方に居を移した。ここで大通寺を再興し、大通山常輪寺と名付け、守本尊の華厳釈迦牟尼仏を安置し開基となった。建仁2年(1202年)8月、鎌倉より弁宗和尚を招き、常輪寺開山とした。(明確なところは不明だが、開創時期等からして、初めは真言宗だったと思われる。)犬房丸公は自らも仏門に入って修行し、大通院殿覚翁常輪大居士を授与された。このことが鎌倉にも知れ、流刑を許され、大和の守を任せられ工藤祐時と称した。始祖弁宗和尚から十四代を経て後継の法系が絶え、慶長6年(1602年),常圓寺五世造天弘宅大和尚が中興開山となり曹洞宗に改宗し、後に常圓寺末寺となった。開創以来819年(36代)、開山以来421年(22世)を数え今日に至っている。