創建年代は不詳だが、開基仏（阿弥陀如来絵像）が本願寺9世・実如上人より授与されていることから、1490年から1522年の間と推測できる。
1739年から45年の間に編纂された『飛州志』には「俗道場」と記述されているが、これは白川郷近辺にみられる「農業の傍ら僧を兼業し、寺院など一部では法名を名乗りつつも行政等ほとんどには俗名を使う者が管理する道場」のことである。常徳寺は平瀬にあった7戸のうち共有山への入会権（共有地を利用する権限）が最大で、営農の必要性から1代おきに僧となっていたという。
1741年、本願寺17世・真如上人より木造阿弥陀如来像（木仏本尊）を賜った。
