วัดนิจิจิสร้างขึ้นบนซากปรักหักพังของปราสาทอายาอิ ซึ่งครั้งหนึ่งเคยมีอยู่ในเมืองทาคาอิชิ เมื่อปราสาทอายาอิถูกทำลายในสงครามในสมัยเซ็นโงกุ ผู้พิทักษ์คนหนึ่งได้หลบหนีออกจากวัดโดยแบกอามิดะ เนียวไรไว้บนหลังของเขา เมื่อถูกศัตรูรายล้อม เขาจึงกระโดดลงไปในคูน้ำของปราสาทและเสียชีวิตไปพร้อมกับอามิดะ เนียวไร เมื่อเวลาผ่านไป เก็นโย โชนินค้นพบอามิดะ เนียวไรจากคูน้ำของปราสาท ตามข้อความความฝัน วัดถูกสร้างขึ้นบนซากปราสาทเพื่อประดิษฐานสิ่งนี้ ผนึกปราสาทที่เราขายจะมีชื่อของวัดสลักอยู่ ทำให้เป็นของหายาก