ยังไม่ทราบรายละเอียดว่าปราสาทคิชิวาดะถูกสร้างขึ้นเมื่อใดและโดยใคร แต่ในช่วงปลายยุคเซ็นโกกุ (กลางศตวรรษที่ 16) ปราสาทแห่งนี้เป็นที่พักอาศัยของตระกูลมัตสึอุระ ซึ่งปกครองภูมิภาคเซ็นชูในขณะนั้น ในปี ค.ศ. 1585 ฮิเดโยชิ ฮาชิบะพ่ายแพ้ต่อวัดคิชู เนกโรจิ ทำให้ลุงของฮิเดโยชิ ฮิเดมาสะ โคอิเดะ กลายเป็นเจ้าแห่งปราสาท และปรับปรุงอาคารหลักครั้งใหญ่ให้เป็นหอคอยปราสาทห้าชั้น ตั้งแต่นั้นเป็นต้นมา ผู้ปกครองปราสาทคิชิวาดะก็สืบทอดตระกูลโคอิเดะมาสามรุ่น ได้แก่ มัตสึไดระ (มัตสึอิ) ยาสุชิเกะ และยาสุเออิจากปี 1619 และตระกูลโอคาเบะจากปี 1640 โนบุคัตสึ โอคาเบะได้ปรับปรุงปราสาทเพิ่มเติมและสร้างปราสาทสมัยใหม่ และตระกูลโอคาเบะอาศัยอยู่ที่นั่นเป็นเวลา 13 รุ่นจนกระทั่งการฟื้นฟูเมจิ ในปีค.ศ. 1827 หอคอยปราสาทถูกฟ้าผ่าและถูกไฟไหม้ และในช่วงการฟื้นฟูเมจิ เจ้าปราสาทได้ทำลายป้อมปราการ ประตู และสิ่งอำนวยความสะดวกอื่นๆ ของปราสาทด้วยตนเอง แต่มีเพียงคูน้ำและกำแพงหินเท่านั้นที่ยังคงเป็นโครงสร้างยุคก่อนสมัยใหม่ .
หอคอยปราสาทในปัจจุบันเป็นหอคอย 3 ชั้น 3 ชั้นที่ได้รับการบูรณะใหม่ สร้างขึ้นในปี 1954 ภายในคุณสามารถเพลิดเพลินกับห้องนิทรรศการวัสดุและศาลาได้ ด้านหน้าหอคอยปราสาทคือ ``สวนฮาจิจิน'' ที่สร้างโดยมิเรอิ ชิเงโมริ