Ploomber - เฟรมเวิร์กโอเพนซอร์สที่ช่วยสร้างดาต้าพाइป์ไลน์ได้อย่างรวดเร็ว

• พัฒนาได้ด้วย Jupyter/VSCode/PyCharm เป็นต้น

• ดีพลอยไปยังเซิร์ฟเวอร์โปรดักชันได้โดยไม่ต้องแก้โค้ด: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm เป็นต้น

• รีแฟกเตอร์โน้ตบุ๊กเดิมให้เป็นพายป์ไลน์แบบโมดูลาร์ได้

ฟีเจอร์หลัก

• พัฒนาได้อย่างรวดเร็วด้วย YAML

• มอบความยืดหยุ่นด้วย Python API ที่ทรงพลัง

• แคชผลลัพธ์ก่อนหน้าของพายป์ไลน์โดยอัตโนมัติ และคำนวณใหม่เฉพาะส่วนที่เปลี่ยนจากการรันครั้งก่อน

• ดีพลอยแบบกระจายผ่านเชลล์สคริปต์ หรือ Kubernetes, Airflow, AWS Batch เป็นต้น

[japansea]

คงสู้ kafka ไม่ได้สินะ?