創建は清和天皇の貞観年中（八五九〜七六） 三河の国司平国が勧請したともいう。社伝に文徳天皇の皇子八条院の宮が屋美郡伊川津村より当初転住の時、神社も遷座した。往古は宮町に鎮座したが元享年中（一三二一〜三）に現在の社地に遷座し、伊文山天王宮と称した。「国内神名帳」に正三位内母大明神とあり、歴代の西尾城主の崇敬あつく徳川幕府朱印＋八石五斗を寄進し明治まで続いた。明治制度改めにより伊文神社と改称、同五年九月郷社に列し同四十年十月二十六日、供進指定をうけた。境内社の合併、大正元年十二月十日、字大給の稲荷社と伊文の稲荷社を合併する。大正二年三月十六日字馬場の琴平社を合併、同五年三月九日宇和泉の稲荷社を合併、同七年七月二十五日和泉の稲荷社をそれぞれ合霊した。昭和五十七年一月二日、社殿炎上、翌年復旧する。
