วัดโฮราคุจิก่อตั้งในปี 1178 โดยไทระ โนะ ชิเงโมริ ลูกชายคนโตของไทระ โนะ คิโยโมริ ผู้นำตระกูลเฮเกะ ว่ากันว่าถูกสร้างขึ้นโดยลอร์ดไทระ โนะ ชิเงะโมริ เพื่อบูชาดวงวิญญาณของผู้ที่เสียชีวิตในสงครามโฮเก็นและเฮอิจิ ด้วยจิตวิญญาณแห่งความเท่าเทียมกันระหว่างคู่แข่งและศัตรู และเพื่อประดิษฐานพระโพธิสัตว์เนียวอิริน คันนง ของมินาโมโตะ โนะ ทาเมโทโมะ วัดถูกเพลิงไหม้ด้วยการยิงของทหารโอดะ โนบุนางะในปี 1571 แต่ได้รับการสร้างขึ้นใหม่ในช่วงกลางเอโดะเพื่อเป็นพระราชวังของตระกูลโอดะในอาณาเขตยามาโตะ-มัตสึยามะ ซึ่งสอดคล้องกับห้องโถงหลักและประตูหลักในปัจจุบัน เป็นที่รู้จักกันว่าเป็นวัดที่พระอาจารย์จิอุน (ค.ศ. 1718-1804) ผู้ได้รับการยกย่องว่าเป็น ``พระศากยมุนีน้อยของญี่ปุ่น'' และได้บวชเป็นพระเมื่ออายุ 13 ปี ศึกษาอักษรสันสกฤตและเทศน์ธรรมธรรมสิบประการ (เส้นทางแห่ง มนุษยชาติ). ในบริเวณนั้นคือพิพิธภัณฑ์อนุสรณ์โคซากะ คิเซกิ ซึ่งจัดแสดงผลงานของโคซากะ คิเซกิ นักอักษรวิจิตรเจ้าของรางวัล Japan Art Academy Award ผู้ล่วงลับไปแล้ว