ศาลเจ้าอาเบะเซเมอิเป็นบ้านเกิดดั้งเดิมของอาเบะเซเมอิ ซึ่งเป็นสถานที่ที่อาเบะเซเมอิซึ่งเป็นองเมียวจิซึ่งได้รับความนิยมในช่วงไม่กี่ปีที่ผ่านมาได้ประดิษฐานอยู่ มีตำนานเล่าว่าอาเบะ เซเมอิเกิดมาจากบิดาของเขา ยาสุนะ อาเบะ ซึ่งเป็นครอบครัวที่ร่ำรวยในอาเบโนะ และสุนัขจิ้งจอกสีขาวชื่อคุซึโนฮะ เพลงที่คุซึโนฮะเขียนบนจอโชจิเมื่อพบว่าจริงๆ แล้วเธอเป็นจิ้งจอกขาว ``ฉันรักเธอ ฉันจะถามเธอนะ นารุ อิซุมิ ชินตะ โนะ โมริ โนะ อุรามิ คุซึโนฮะ'' มีชื่อเสียงมาก . ตามตำนานของศาลเจ้า ศาลเจ้าอาเบะเซเมอิก่อตั้งขึ้นในปี 1007 สองปีหลังจากการเสียชีวิตของเซเมอิ ภายในบริเวณมีอนุสาวรีย์ที่เป็นแหล่งกำเนิดของเซเมอิที่สร้างขึ้นในสมัยบุนเซในสมัยเอโดะ เช่นเดียวกับซากปรักหักพังของอาบน้ำพุร้อน และมีความเจริญรุ่งเรืองถึงขีดสุด แต่กลับตกต่ำลงในตอนท้าย ของสมัยเอโดะ ในปี 1921 ได้มีการสร้างขึ้นใหม่เพื่อเป็นศาลเจ้าในเครือของศาลเจ้า Abe Oji ซึ่งอยู่ห่างจากทางใต้ 50 เมตร และอาคารศาลเจ้าในปัจจุบันว่ากันว่าสร้างขึ้นในปี 1925 มุมทำนายดวงประจำวันที่จัดขึ้นในบริเวณนี้ก็เป็นที่นิยมเช่นกัน