Meta (อดีต Facebook) เปิดซอร์ส OpenZL โซลูชันบีบอัดประสิทธิภาพสูงสำหรับ AI ที่เคยใช้ภายใน

Meta (อดีต Facebook) ได้เปิดซอร์สเฟรมเวิร์กการบีบอัดข้อมูลประสิทธิภาพสูง OpenZL ที่ใช้งานภายในมาโดยตลอด โดย OpenZL ถูกปรับแต่งมาเป็นพิเศษสำหรับการประมวลผลชุดข้อมูลเฉพาะทางขนาดมหาศาล เช่น เวิร์กโหลดด้าน AI และแมชชีนเลิร์นนิง และสามารถมอบทั้งอัตราการบีบอัดที่สูงและความเร็วที่รวดเร็วไปพร้อมกัน โดยก้าวข้ามข้อจำกัดของโซลูชันการบีบอัดแบบทั่วไปเดิม

คุณสมบัติและฟังก์ชัน

จุดเด่นที่สุดของ OpenZL คือแนวทางการบีบอัดแบบ Format-Aware ที่สร้างตัวบีบอัดแบบปรับแต่งเฉพาะให้เหมาะกับรูปแบบข้อมูล โดยจะวิเคราะห์โครงสร้างของข้อมูลแล้วสร้างอัลกอริทึมการบีบอัดที่มีประสิทธิภาพที่สุด ทำให้ยังคงรักษาความเร็วในการประมวลผลที่ดาต้าเซ็นเตอร์ต้องการได้ ขณะเดียวกันก็ทำอัตราการบีบอัดระดับสูงที่ตัวบีบอัดแบบทั่วไปไม่สามารถทำได้

นอกจากนี้ ตัวบีบอัดเฉพาะทางทั้งหมดที่สร้างขึ้นยังเข้ากันได้กับตัวคลายการบีบอัดแบบทั่วไปเพียงตัวเดียว ทำให้ดูแลรักษาระบบได้ง่าย และยังมีเครื่องมือ Trace Visualizer สำหรับวิเคราะห์กระบวนการบีบอัดในเชิงภาพอีกด้วย

ข้อมูลประสิทธิภาพ (อ้างอิงจากข้อมูล SAO ในชุดทดสอบการบีบอัด Silesia)

ประเภท	OpenZL	zstd -3	xz -9
อัตราการบีบอัด	x2.06	x1.31	x1.64
ความเร็วในการบีบอัด	203 MB/s	115 MB/s	3.1 MB/s
ความเร็วในการคลายการบีบอัด	822 MB/s	890 MB/s	30 MB/s

การเปิดซอร์ส OpenZL ของ Meta ในครั้งนี้คาดว่าจะช่วยลดต้นทุนด้านการจัดเก็บและการรับส่งข้อมูล และเพิ่มประสิทธิภาพการทำงานได้อย่างมาก ในทั้งงานด้าน AI และอุตสาหกรรมหลากหลายประเภทที่จำเป็นต้องประมวลผลข้อมูลขนาดใหญ่

[xguru]

OpenZL: เฟรมเวิร์กการบีบอัดโอเพนซอร์สที่สามารถรับรู้รูปแบบไฟล์ได้
โปรดดูบทความแนะนำของ Facebook ที่ AI แปลไว้ประกอบด้วย

[t7vonn]

เรื่องการบีบอัดนี่ Meta นำอยู่จริงนะ 555 zstd เองก็เป็นพัฒนาการครั้งใหญ่มากแล้ว

[darjeeling]

ใช้กันภายในได้ดีอยู่แล้ว.. การเอามาเปิดเผย..
แปลว่ากำลังจะมีของใหญ่ตามมาอีกหนึ่งก้าวใช่ไหมล่ะ