การพัฒนาการดาวน์โหลดไฟล์ XLSX ขนาดใหญ่ของ Naver Pay โดยใช้ streaming API

• สร้างไฟล์ XLSX ด้วย JavaScript

→ เลือกใช้ ExcelJS : รองรับการสตรีม XLSX, มีการจัดรูปแบบ และสามารถล้างออกจากหน่วยความจำได้ทีละหนึ่ง row

• Java POI เทียบกับ ExcelJS

• ส่งข้อมูลจาก Tomcat ไปยัง Node.js : ใช้ spring-webflux และสตรีมไปยัง Node.js ทีละหนึ่ง row

• ปัญหาที่เกิดขึ้นระหว่างการเปลี่ยนจาก POI เป็น ExcelJS

[galadbran]

โอ้ มีคนอธิบายโดยอ้างอิงจาก MySQL ไว้ในคอมเมนต์ต้นฉบับด้วยนี่นา!! (ใกล้เกลือกินด่าง... ฮือฮือ)

[galadbran]

เป็นข้อมูลขนาดใหญ่ที่ไม่รู้ปริมาณแน่ชัด แต่ฝั่ง db กลับ select * ไปเลยแบบไม่ทำเพจจิง (ประมาณว่า offset กับ limit อะไรทำนองนั้นใช่ไหม?) แล้วก็อ่านข้อมูลด้วยการสั่งให้ producer thread หลับบ้างตื่นบ้าง มันดูทั้งเท่และก็ทำให้นึกว่า แบบนั้นทำได้จริงเหรอ?...

อยากเข้าใจส่วนนี้ให้ดี แต่พอหาข้อมูลเรื่องการอ่านข้อมูลจำนวนมาก ส่วนใหญ่ก็มีแต่แนะนำให้ทำเพจจิง... ^^;

[xguru]

ฟีเจอร์ดาวน์โหลดไฟล์ Excel ในเครื่องมือผู้ดูแลเป็นฟังก์ชันที่ถูกใช้งานอยู่บ่อย ๆ และอย่างในตัวอย่างที่ใช้ ExcelJS ซึ่งเริ่มดาวน์โหลดได้ทันทีที่กด ก็ดูจะสำคัญต่อประสบการณ์ผู้ใช้มากจริง ๆ