AWS เปลี่ยนการบีบอัดของ S3 จาก gzip เป็น zstd ทำให้ขนาดลดลงราว 30%
(twitter.com/adrianco)- เพื่อตอบคำถามว่า zstd ที่ Yann Collet สร้างขึ้นช่วยลดสิ่งที่ไม่จำเป็นได้มากแค่ไหน Adrian Cockcroft ได้ตอบไว้ว่า
- ในสเกลระดับ Exabyte ของ S3 การลดลง 30% คือการประหยัดต้นทุนในระดับมหาศาล
- Twitter เองก็ประหยัดเงินได้ปีละหลายร้อยล้านบาท (~ mid 8 figs/yr) จากการเปลี่ยน HDFS มาใช้ zstd
4 ความคิดเห็น
Uber ก็ได้เปลี่ยนจาก GZIP/SNAPPY เป็น ZSTD เช่นกัน。
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/
zstd น่าทึ่งมากจริง ๆ!
มีข้อมูลเปรียบเทียบประสิทธิภาพการบีบอัดอยู่ในลิงก์ เลยนำมาแชร์ครับ
https://github.com/facebook/zstd
วันนี้เพิ่งลองใช้ zstd เป็นครั้งแรก
บน mac มีติดตั้งมาให้เป็นค่าเริ่มต้นอยู่แล้วนี่เอง
บีบอัด: "zstd file" => file.zst
แตกไฟล์: "unzstd file.zst" => file