บันทึกการปรับปรุงสถาปัตยกรรมสำหรับไปป์ไลน์ข้อมูลเรียลไทม์แบบไร้ Lag

บทความนี้ว่าด้วยความสัมพันธ์ระหว่างจำนวน Kafka consumer group กับ partition และความยากของการทำ auto scaling ที่เกิดจากเรื่องนี้ รวมถึงการนำสถาปัตยกรรมแบบใหม่มาใช้เพื่อแก้ปัญหา

• แนะนำบริการ Airbridge และ workload

• ปัญหาของสถาปัตยกรรมเดิม

• ข้อเสนอสถาปัตยกรรมใหม่

  • แนวทางที่ 1: driver, executor model เช่นเดียวกับ Spark streaming

  • แนวทางที่ 2: decouple model ระหว่าง Kafka consumer กับ application server

• เหตุผลที่เลือกแนวทางที่ 2

• สถาปัตยกรรมแบบ Kafka consumer และ application server decouple model

• ข้อควรพิจารณาในสถาปัตยกรรมใหม่

• ความยากที่พบระหว่างดำเนินการ

• ผลลัพธ์หลังนำสถาปัตยกรรมใหม่ไปใช้

• สิ่งที่ยังต้องลองต่อไปในอนาคต

[lamanus]

ว้าว... ผมก็ใช้ ECS เหมือนกัน แต่ไม่เคยคิดลึกขนาดนี้มาก่อนเลย ดีมากครับ

[lamanus]

ดูเหมือนว่าระหว่างใช้ envoy คำขอเพื่อลดทราฟฟิกข้าม AZ ยังอยู่ในสถานะค้างไว้

https://github.com/aws/aws-app-mesh-roadmap/issues/94