Airbyte - ELT โอเพนซอร์ส

 (airbyte.io)
7 คะแนน โดย xguru 2021-02-01 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

  • ทางเลือกโอเพนซอร์สแทน Fivetran/Stitch

  • ติดตั้งใช้งานเองได้ตั้งแต่แบบ single node

  • เชื่อมต่อกับ K8s และ Airflow

  • ตั้งเวลาการอัปเดต, ซิงก์ใหม่ทั้งหมดแบบแมนนวล, มอนิเตอร์แบบเรียลไทม์

  • เริ่มต้นจาก 41 แหล่งข้อมูลและ 6 ปลายทาง และกำลังเพิ่มคอนเน็กเตอร์อย่างต่อเนื่อง (ร่วมกับชุมชนโอเพนซอร์ส)

→ Destination: Redshift, Snowflake, BigQuery, Postgres, JSON/CSV แบบโลคัล

→ Source : Google Analytics, Facebook Ads, Google Ads, Salesforce, SQL Server/MySQL/Postgres, Jira, Intercom, Github, Looker, Mailchimp, Mixpanel, Marketo, Sendgrid, Slack, Shopify, Stripe, Twilio, Zendesk, Zoom..

  • ตามที่หน้าเว็บไซต์ระบุว่าเป็นเครื่องมือ EL(T) จึงเด่นด้าน Extract และ Load

Transform รองรับทั้ง SQL/Java transformer ของตัวเอง แต่ดูเหมือนว่าจะใช้ dbt ได้ด้วย

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2021-02-01

สำหรับ Fivetran, Stitch, dbt ฯลฯ โปรดดูวิดีโอ "ทำความเข้าใจโครงสร้างพื้นฐานข้อมูลล่าสุด" ของ GeekNews บน YouTube

  • #3 เครื่องมือ ETL/ELT (Fivetran, Stitch, Matillion, Panoply) https://youtu.be/fn0sN3PFip0

  • #4 การทำโมเดลข้อมูลและตัวจัดการเวิร์กโฟลว์ (dbt, Airflow, Dagster, Prefect) https://youtu.be/IdVO1dC4bM8