京都祇園の末社もと安芸之国祇園社と称し祇園地名の起源、明治2年安神社と改称。
縁起によると貞観11年(869)国家鎮護を祈願して出雲の神々を勧諸したのが始まりという。一説に元慶5年(881) 大和国長谷寺より別当寺感神院の祖僧有尊がこの地に来たと伝えられこの時の創祀ともいう。当初は銀山(武田山)の麗南下安村松尾山 にあったが正安元年(1299)の例祭の日厳島社司佐伯郡桜尾城主、平員家の軍勢が銀山城を攻めた際兵火により焼失した。 御神体は御旅所(現在の境内地)に御神幸中で無事であった。
その後銀山城主武田家によって嘉元年間(1303~6)現在地に社殿が再建された。武田家滅亡後永禄3年11月(1560) 毛利元就が社殿を再建。
文禄3年(1594)毛利輝元が葺替を行っており、広島城築城の際には当社の社領だけを除き、用材を伐採してよいとの達しを出した事は有名である。
また福島氏、浅野氏にも篤く崇敬され文化13年(1816)社殿の一切を立て替えた。が、明治43年 (1910)不審火により社殿が焼失する、現在の社殿は大正2年(1913)に再建されたものである。