เทคโนโลยี Erasure Coding สำหรับระบบแบบกระจาย

[GN⁺]

ความคิดเห็นจาก Hacker News

• แปลกใจที่ไม่มีการกล่าวถึง rateless fountain codes

  • Luby Transform Code น่าสนใจ
  • LT codes ถูกใช้ในการเข้ารหัส RaptorQ ของ RFC6330

• มีอัลกอริทึม network coding ที่เคยถูกเสนอไว้ในอดีต

  • สามารถรับไฟล์ได้เร็วขึ้นผ่านหลายเส้นทาง

• Erasure coding เป็นเทคโนโลยีที่มีมานานแล้ว

  • ควรนึกถึงไฟล์ PAR2 ของ Usenet

• ถ้าสนใจ Erasure coding ก็ควรพิจารณากรณีแบบหลายมิติ

  • ควรคิดเรื่องการเข้ารหัสข้ามโดเมนความล้มเหลวหลายแบบ ไม่ใช่แค่ spindle แต่รวมถึง rack, ห้อง, data center, ภูมิภาค ฯลฯ

• สงสัยว่ามีใครเคยใช้ Wirehair ในโปรเจ็กต์บ้างหรือไม่

  • Wirehair มีประสิทธิภาพของอัลกอริทึมและ API ที่ใกล้อุดมคติ
  • แต่ Wirehair เป็นการนำแนวคิดไปใช้งานจริง ไม่ใช่สเปก
  • แม้จะเสถียร แต่ก็กังวลว่าจะสามารถแปลงให้เป็นสเปกที่เชื่อถือได้หรือไม่

• เป็นเทคโนโลยีแกนหลักของ Erasure Code pool ใน Ceph

  • พารามิเตอร์การเข้ารหัส (k, m) ไม่สามารถอัปเดตภายหลังได้
  • เพราะความไม่ยืดหยุ่นนี้ replica จึงยังคงเป็นตัวเลือกหลักสำหรับการจัดเก็บข้อมูลที่ทนทานต่อความขัดข้องและมีความพร้อมใช้งานสูง

• สงสัยว่าผลิตภัณฑ์ที่สร้างขึ้นระหว่างเหตุการณ์ M of N จะถูกเข้ารหัสต่างจากตอนที่ N พร้อมใช้งานครบหรือไม่

  • อาจต้องมีบิตแฟล็กที่ระบุว่า "ต้องเข้ารหัสใหม่เมื่อ N ถูกกู้คืน"

• ทำให้นึกถึง Information Dispersal Algorithm ของ Rabin

  • มีการให้ลิงก์ไปยังบทความวิชาการที่เกี่ยวข้อง

• สงสัยว่ามันใช้งานได้จริงเฉพาะกับงานแบบอ่านอย่างเดียวหรือเน้นการอ่านหรือไม่

• เป็นหนึ่งในกลยุทธ์การทำสำเนาที่ Ceph ใช้กับ distributed blob storage