Peerdb Streams - Postgres CDC (Change Data Capture) แบบเรียบง่าย

 (blog.peerdb.io)
13 คะแนน โดย xguru 2024-05-09 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • จำลองการเปลี่ยนแปลงที่เกิดขึ้นใน Postgres ไปยังคิว/เมสเสจโบรกเกอร์อย่าง Kafka, Redpanda, Google PubSub, Azure Event Hub และอื่น ๆ ได้อย่างง่ายดาย
    • ภายในใช้ Postgres logical decoding เพื่อเปิดใช้งาน Postgres CDC
  • แม้ว่า Debezium จะถูกใช้กับ CDC แบบเดิมอยู่มาก แต่มีช่วงการเรียนรู้ที่ชัน และหากจะนำไปใช้ในโปรดักชันก็ต้องมีความรู้พื้นฐานจำนวนมาก
    • ตั้งค่ายาก (UI ยังอยู่ระหว่างพัฒนา), การรองรับรูปแบบข้อมูลและการแปลงก็ไม่ได้ง่ายนัก, และสำหรับเมสเสจโบรกเกอร์อื่นนอกเหนือจาก Kafka ก็ไม่ได้ให้ความสามารถในระดับเดียวกัน
  • PeerDB มีเป้าหมายเพื่อสร้าง Postgres CDC ที่เรียบง่ายกว่าและครอบคลุมกว่า
    • เพื่อให้วิศวกรสามารถสร้าง Postgres CDC ระดับพร้อมใช้งานจริงได้ภายในไม่กี่วัน ด้วยช่วงการเรียนรู้ที่น้อยที่สุด
  • ตั้งค่าได้ง่ายผ่าน PeerDB UI
    • ตั้งค่าแหล่งข้อมูลต้นทางและปลายทาง (เช่น Postgres และ Kafka)
    • มอนิเตอร์ความคืบหน้าของ CDC เช่น ปริมาณงาน (ต่อหนึ่งตาราง) และค่าหน่วงเวลา
    • ค้นหาล็อก
    • แจ้งเตือนผ่าน Slack/อีเมลเมื่อ replication slot เพิ่มขึ้น
    • ยังมีฟีเจอร์ขั้นสูง เช่น การปรับแต่ง mirror, การหยุดชั่วคราว, และการเพิ่มตารางเข้าไปใน mirror
  • มี CLI ให้ใช้งานด้วย และมีชั้น SQL ที่เข้ากันได้กับ Postgres ทำให้ใช้งานเป็นมิตรกับผู้ใช้
  • ใช้ Transformation ระดับแถวก่อนสตรีม CDC ไปยัง Kafka
    • ใช้ Lua script
    • เข้ารหัส/มาสก์ข้อมูลระบุตัวบุคคล (PII), รองรับรูปแบบข้อมูลหลากหลาย (JSON, MsgPack, Flatbuffers, Protobuf เป็นต้น)
    • มีตัวแก้ไขสคริปต์และเทมเพลตที่มีประโยชน์ให้
  • มี native connector สำหรับปลายทางอื่นนอกเหนือจาก Kafka
    • Google Pub/Sub, Azure Event Hubs

บทความที่เกี่ยวข้อง