RisingWave - ฐานข้อมูลสตรีมมิงยุคใหม่แบบคลาวด์เนทีฟ
(github.com/singularity-data)- ออกแบบมาโดยมีเป้าหมายเพื่อลดความซับซ้อนและต้นทุนในการพัฒนาแอปพลิเคชันแบบเรียลไทม์
- นำเข้าข้อมูลสตรีมและรันคำสั่ง Continuous query ด้วย SQL พร้อมอัปเดตผลลัพธ์แบบไดนามิก
- Query & Transform
- สร้าง Materialized View
- อ่านข้อมูลจาก Kafka/Pulsar/Kinesis/Redpanda และแหล่งข้อมูล CDC
- รองรับ PostgreSQL/MySQL CDC(Change Data Capture)
- จัดเก็บข้อมูลบน S3 และอ็อบเจ็กต์สตอเรจที่เข้ากันได้กับ S3 เพื่อลดต้นทุน
- ใช้ SQL ที่เข้ากันได้กับ Postgres
4 ความคิดเห็น
ไม่ใช่คำถามที่เกี่ยวข้องโดยตรงนัก แต่มีวิธีที่ดีอะไรบ้างในการทำ cdc บนระบบ bare metal ขนาดเล็กที่ไม่ได้มีสเกลใหญ่? มีหลายอย่างที่ใช้ Kafka เป็นฐาน แต่เบื้องต้นตัว Kafka เองก็ดูจะเกินความจำเป็นไปมากอยู่แล้ว…
https://github.com/debezium/debezium แบบนี้หรือเปล่าครับ? (ผมก็รู้แค่ชื่อเหมือนกัน ยังไม่เคยลองใช้.. )
ดูเหมือนว่า Debezium จะเป็นที่รู้จักมากที่สุดในฐานะ PostgreSQL CDC แบบโอเพนซอร์ส และมันก็ทำงานบนพื้นฐานของ Kafka ใช่ไหมครับ ^^
ประมาณว่าเหมือน ksqlDB หรือ Materialize ไหม?