ปราสาทวาคาเอะผ่านสงครามมาหลายครั้งนับตั้งแต่ถูกสร้างขึ้นโดยกลุ่มฮาตาเกะยามะ ผู้ว่าราชการจังหวัดคาวาจิ ในช่วงต้นสมัยมุโรมาจิ ในสมัยเทนโช คริสเตียน โนริมาสะ อิเคดะ ทังโกะ โนะ คามิ กลายเป็นเจ้าแห่งปราสาทและสร้างโบสถ์ ฯลฯ ดังนั้นจึงกล่าวกันว่าเป็นศูนย์กลางของศาสนาคริสต์ในคาวาจิ ร่วมกับยาโอะ ซังกะ (เมืองไดโตะในปัจจุบัน) และโอคายามะ (เมืองชิโจนาวาเตะในปัจจุบัน) . อย่างไรก็ตาม ไม่พบวัตถุใดๆ หลังจากที่โนบุนางะใช้ที่นี่เป็นฐานในการโจมตีวัดอิชิยามะ ฮงกันจิ และถึงแม้ปราสาทแห่งนี้จะเป็น "ปราสาทผี" มานานแล้ว การขุดค้นที่ดำเนินการหลังปี 1971 เผยให้เห็นว่ามันถูกสร้างขึ้นรอบๆ ใจกลางปราสาท พบส่วนหนึ่งของคูน้ำยืนยันการมีอยู่อีกครั้ง ขนาดของมันคือประมาณ 380 ม. จากตะวันออกไปตะวันตก และประมาณ 280 ม. จากเหนือจรดใต้ (พจนานุกรมชื่อสถานที่ภาษาญี่ปุ่นคาโดคาวะ) ปัจจุบัน อนุสาวรีย์ที่สร้างขึ้นเพื่อรำลึกถึงซากปรักหักพังของปราสาทตั้งอยู่ที่เชิงสะพานคนเดินหน้าศูนย์ชุมชนวาคาเอะ แต่ว่ากันว่ายังคงมีสิ่งลึกลับมากมายอยู่รอบๆ