- ทำงานได้รวดเร็วและมีประสิทธิภาพด้วย FastCDC (Content Defined Chunking)
- เครื่องมือที่เคยใช้งานใน Google Stadia
- โดยทั่วไปนักพัฒนาเกมจะพัฒนาบน Windows และต้องรันบนเครื่อง Linux
- จึงสร้างเครื่องมือโอเพนซอร์ส
cdc_rsync, cdc_stream ขึ้นมาเพื่อการคัดลอกที่รวดเร็ว
- CDC RSync
- คล้ายกับ rsync เดิม แต่ซิงก์ได้เร็วขึ้นประมาณ 3 เท่า
- อัลกอริทึม remote diff ที่อิง CDC เร็วได้สูงสุดราว 30 เท่า
- หาก timestamp/ขนาดไฟล์เหมือนกันจะข้ามไป
- ใช้การบีบอัดความเร็วสูงกับการส่งข้อมูลทั้งหมด
- หากไฟล์มีการเปลี่ยนแปลง จะตรวจสอบว่าส่วนใดเปลี่ยนแล้วส่งเฉพาะส่วนที่เปลี่ยน
- CDC Stream
- ในเชิงแนวคิดคล้ายกับ sshfs แต่ปรับแต่งเพื่อความเร็วในการอ่าน ทำให้เร็วขึ้นประมาณ 2 ถึง 5 เท่า
- แคชข้อมูลที่สตรีมไว้บนอุปกรณ์ Linux
- หลังจากไฟล์บน Windows ถูกเปลี่ยน หาก Linux อ่านใหม่ จะสตรีมเฉพาะส่วนที่เปลี่ยน ส่วนที่เหลือจะอ่านจากแคช
- เมตาดาตาของไดเรกทอรีทำงานในรูปแบบที่เหมาะกับการสตรีม ทำให้การทำงานแบบ Stat เร็วมาก
1 ความคิดเห็น
ปกติใช้
rsyncกันเยอะในการจัดการไฟล์ล็อกอยู่แล้ว พอเห็นว่าอันนี้เร็วกว่าเลยน่าสนใจครับ