ในฤดูใบไม้ผลิปี พ.ศ. 1545 (เท็นบุนที่ 14) เกิดโรคไข้ทรพิษแพร่ระบาดในบริเวณนี้และโรคก็สงบลง แต่เนื่องจากประสิทธิภาพของยันต์ที่สวดมนต์ที่ศาลเจ้านี้จึงได้รับความนับถือจากคนทั่วไปจึงทำ . อย่างไรก็ตาม ในช่วงความวุ่นวายของยุคเทนโช (ประมาณ 400 ปีที่แล้ว) อาคารศาลเจ้าก็ถูกไฟไหม้ทำลาย หลังจากนั้น ความขัดแย้งต่างๆ ก็ได้เกิดขึ้นภายในมิทานิ-โนะ-โช แต่ด้วยการประดิษฐานเทพเจ้าที่ประดิษฐานอยู่ในคฤหาสน์ด้วยกัน คฤหาสน์ก็กลายเป็นหนึ่งเดียวกันและความขัดแย้งก็คลี่คลาย และอาคารศาลเจ้าได้ถูกสร้างขึ้นบนพื้นที่ปัจจุบันซึ่งเป็นศาลเจ้าหลักของคฤหาสน์ นี่คือที่มาของศาลเจ้าทาเนกาวะในปัจจุบัน ในฤดูใบไม้ผลิ ต้นซากุระประมาณ 100 ต้นจะบานสะพรั่งที่นี่ ทำให้เป็นสถานที่ยอดนิยมสำหรับครอบครัว