สร้างขึ้นในปี 1904 โดยโทโมอิโตะ ซูมิโตโม หัวหน้าคนที่ 15 ของครอบครัวซูมิโตโม ซึ่งประจำอยู่ในโอซาก้าตั้งแต่สมัยเอโดะ และได้บริจาคอาคารห้องสมุดและเงินทุนเพื่อซื้อหนังสือ ห้องสมุด ในตอนแรกชื่อคือ ``ห้องสมุดโอซาก้า'' แต่ต่อมาได้เปลี่ยนชื่อเป็น ``ห้องสมุดนากาโนะชิมะประจำจังหวัดโอซาก้า'' ในปี พ.ศ. 2465 ได้มีการบริจาคปีกซ้ายและขวาและเพิ่มเข้าไปในอาคาร (ทรัพย์สินทางวัฒนธรรมที่สำคัญของชาติ) เป็นอาคารโอ่อ่าที่มีโครงสร้างหินสามชั้นและโดมหลังคาทองแดง ออกแบบโดยสถาปนิกมาโกอิจิ โนกุจิ และอากิระ ฮิดากะ จากแผนกสถาปัตยกรรมชั่วคราวซูมิโตโม ห้องสมุดนากาโนะชิมะมีคอลเลกชันเอกสารโบราณ วรรณกรรมเกี่ยวกับโอซาก้า และหนังสือที่เกี่ยวข้องกับธุรกิจ ส่วนหนึ่งเป็นเพราะทำเลที่เงียบสงบและสะดวกสบาย ที่นี่ยังคงได้รับความนิยมในหมู่นักวิจัยและผู้ชื่นชอบหนังสือหลังจากสร้างเสร็จเกือบ 100 ปี