- เฟรมเวิร์กแบบรวมศูนย์สำหรับสร้างโฟลว์แบบ end-to-end โดยรวบรวมข้อมูลจากแหล่งต่าง ๆ แปลงข้อมูลด้วย SQL และ Python และเพิ่มการตรวจสอบคุณภาพข้อมูล
- คล้ายกับการรวม dbt + Airbyte + Great Expectations ไว้ในเครื่องมือเดียว
- ประกอบด้วย CLI ที่เขียนด้วย Go และส่วนขยายสำหรับ VS Code ที่ทำงานร่วมกัน สามารถสร้าง จัดการ และดีพลอยไปป์ไลน์ได้ภายใน VS Code
- เก็บรวบรวมข้อมูลด้วย ingestr
- ingestr เป็นโอเพนซอร์ส CLI แยกต่างหากที่เขียนด้วย Python สำหรับคัดลอกข้อมูลระหว่างแหล่งข้อมูลได้อย่างง่ายดาย
- รองรับ: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- แปลงข้อมูลด้วย SQL และ Python (คล้าย dbt)
- จัดการสภาพแวดล้อม Python ด้วย
uv โดยรันแบบแยกอิสระ
- มีการตรวจสอบคุณภาพข้อมูลในตัว
- รองรับเทมเพลต Jinja
- รองรับ dry-run จึงสามารถตรวจสอบไปป์ไลน์ได้ตั้งแต่ต้นจนจบ
- สามารถรันได้บนเครื่องโลคัล, อินสแตนซ์ EC2 และ GitHub Actions
- อินเจ็กต์ Secret ผ่านตัวแปรสภาพแวดล้อม
- รองรับกลยุทธ์ Materialization สำหรับตาราง/วิวหลากหลายรูปแบบ รวมถึง incremental table
ยังไม่มีความคิดเห็น