ชื่อ Ninnaji ซึ่งเป็นที่ตั้งของศาลเจ้า Ninnaji มาจากข้อเท็จจริงที่ครั้งหนึ่งเคยเป็นส่วนหนึ่งของอาณาเขตของวัด Ninnaji ในเกียวโต เชื่อกันว่าศาลเจ้านี้ก่อตั้งขึ้นในสมัยมูโรมาชิตอนต้น และในเวลานั้นเรียกว่าฮาคุซัง กงเก็นฉะ ในปี 1633 (คาเนอิ 9) นางาอิ ชินาโนะ โนะ คามิ นาโอมาสะ กลายเป็นขุนนางศักดินา และเริ่มประดิษฐานสุกาวาระ โนะ มิจิซาเนะ และตั้งแต่นั้นมาก็ถูกเรียกว่าศาลเจ้าเทนมังกุ ว่ากันว่าอาคารศาลเจ้าถูกน้ำพัดหายไปเมื่อเขื่อนกั้นแม่น้ำโยโดะพัง ดังนั้นจึงถูกย้ายไปยังตำแหน่งปัจจุบันที่ใจกลางหมู่บ้าน มีการปลูกต้นไม้จำนวนมากภายในบริเวณ