WarpStream : Kafka ตายแล้ว ขอพระเจริญ Kafka!

 (warpstream.com)
28 คะแนน โดย xguru 2023-08-08 | 4 ความคิดเห็น | แชร์ทาง WhatsApp
  • WarpStream คือแพลตฟอร์มสตรีมมิงข้อมูลที่เข้ากันได้กับโปรโตคอล Kafka และสร้างขึ้นโดยตรงบน S3
  • ให้มาในรูปแบบ Go ไบนารีเดี่ยวแบบ stateless จึงไม่ต้องมีโลคัลดิสก์ให้ดูแล ไม่มีโบรกเกอร์ให้รีบาลานซ์ และไม่ต้องมี ZooKeeper ให้ปฏิบัติการ
  • เนื่องจากรับส่งข้อมูลกับ S3 โดยตรง จึงมีต้นทุนถูกกว่า Kafka 5~10 เท่า (อาจคิดเป็นมากกว่า 80% ของต้นทุนโครงสร้างพื้นฐานสำหรับ Kafka ขนาดใหญ่)
  • Kafka เป็นซอฟต์แวร์ที่ยอดเยี่ยมมากซึ่งสร้างขึ้นสำหรับดาต้าเซ็นเตอร์ในปี 2011 แต่ไม่เหมาะกับเวิร์กโหลดสมัยใหม่
    • ความคุ้มค่า: โดยการออกแบบแล้ว กลยุทธ์การทำซ้ำข้อมูลของ Kafka ทำให้เกิดค่าแบนด์วิดท์ระหว่าง AZ จำนวนมาก
    • ภาระด้านปฏิบัติการ: การดูแลคลัสเตอร์ Kafka ต้องใช้ทีมเฉพาะและเครื่องมือคัสตอมที่ซับซ้อน
  • WarpStream รันได้โดยตรงบนอ็อบเจกต์สตอเรจของหลายคลาวด์ (AWS S3, GCP GCS, Azure Blob Storage)
  • ขณะนี้อยู่ในช่วง Developer Preview

บทความที่เกี่ยวข้อง

4 ความคิดเห็น

 
xguru 2023-08-09

ดูเวอร์ชันที่ GN⁺ สรุปไว้ได้ที่นี่ด้วย https://th.news.hada.io/topic?id=10254
 
pseudojo 2023-08-08

เป็นเครื่องมือที่ลดจำนวนเลเยอร์ลง แต่ต้องใช้อย่างระมัดระวังมาก เครื่องมือประเภทนี้มักเปิดช่องให้กลายเป็นบิลค่าบริการสุดโหดได้เสมอ (* ยกเว้นกรณีรันในดาต้าเซ็นเตอร์ของตัวเองด้วย minio เป็นต้น)
 
ehlegeth 2023-08-08

เป็นความพยายามที่น่าสนใจในการใช้แนวทาง disaggregated storage นะครับ
สงสัยเหมือนกันว่าเขาจัดการกับประเด็นต่าง ๆ อย่างการแคชอย่างไร
 
xguru 2023-08-08

แม้ชื่อบทความในบล็อกจะออกแนวเรียกกระแสอยู่บ้าง แต่ก็ดูเหมือนเป็นความพยายามที่น่าสนใจในฐานะทางเลือกที่เบากว่าสำหรับ Kafka