明治初期、この寺の住職の書いた縁起には、「口伝に一条院の御世正暦元年頃の開基という。その時代は何宗何和尚の開きたるを知れず。伝導山西念寺と称す。三条院の長元年中落浜入道大琳鬼甲城を造りし時は菩提寺として当村字桜清水にありという。其後源頼義公に討伐せられ焼失す。余族山内字泥又沢に引き越し兵庫守首長として住す。寺も又当所に永く住す。暦仁元年中泥又城落す、寺も又有名無実当宇となるも、正元年中富並字楯に甲斐守築城せし時、当寺を泥又沢より移し城主の菩提寺とす・・・以下略。」 とあります。建立の地である桜清水についてですが、何々清水というのは高僧の農地開拓の地名とされています。
西念寺には、次のご詠歌が伝えられています。
紀州熊野へ参詣シテ奉リ楽、又歌トシテ詠ミ侍リケル歌
三熊野の神の恵みの露深く故けのたもとに可可流姑しさ 遊行尊
