創立年代は明らかではないが、摂津国住吉大社の分霊を奉斎したと伝わり、往古は摂津大明神と称した。宝永6年（1709）正一位住吉大明神と改称。
近世、西ノ庄大社と称せられ、藩主池田光仲より社領高3石5斗5升及び葵蝶打交ぜの紋章幕と提燈が寄進されている。
明治初年に御来屋漁港鎮座の恵美須（事代主神）と境内末社天満宮（菅原道眞公）を合祀して住吉神社と改称した。
大正6年に光徳村西坪の西坪神社（もと山王権現 大山祇命 大穴遅命）を合併した。
昭和60年に本殿屋根葺替、幣殿拝殿を増改築した。往古より現在に至るまで漁業関係者の信仰が篤い。
現存する最古の棟札に社殿修理寛文7年（1667）のものがある。 社伝に、後醍醐天皇が隠岐より名和の港に御潜幸の際、当神社に奉幣し供奉していた源忠顕卿が「千代經べき君が齢を住吉の 松に契りて御幸なるらん」と詠んで献上した一首があり（『伯耆民談記』）、この歌に詠まれた松は明治19年に御来屋の大火の時に焼失した松と伝えられる。
