Metaflow - เฟรมเวิร์ก Python แบบโอเพนซอร์สสำหรับงาน Data Science ที่ Netflix สร้างขึ้น

สแตก Infrastructure ที่ช่วยให้พัฒนาได้อย่างรวดเร็วบนเครื่องโลคัล แล้วนำไปรันขนาดใหญ่บนคลาวด์ได้โดยไม่ต้องแก้โค้ด โดยสามารถสร้างสแนปช็อตของโค้ด/ข้อมูล/ดีเพนเดนซีที่ทำงานอยู่บนโน้ตบุ๊ก แล้วบันทึกไว้ใน S3 หรือไฟล์ซิสเต็ม เพื่อให้สามารถทำงานอย่างการ resume เวิร์กโฟลว์ หรือ reproduce ผลลัพธ์ที่ผ่านมาได้

[xguru]

เหตุผลที่ใช้ MetaFlow ดูคำอธิบายเป็นภาพได้ที่ https://docs.metaflow.org/introduction/why-metaflow

Netflix และ AWS พัฒนาร่วมกัน จึงผสานการทำงานกันอย่างลึกซึ้ง

บนเครื่อง Local จะบันทึกลงดิสก์และติดตั้งโน้ตบุ๊กเพื่อให้พัฒนาได้รวดเร็วและสะดวก

เมื่อนำขึ้น AWS ก็จะสามารถใช้บริการด้านล่างเพื่อรันงานขนาดใหญ่ได้

Metadata - RDS หรือ Metaflow Metadata Service https://github.com/Netflix/metaflow-service

Datastore - AWS S3

Compute - AWS Batch https://aws.amazon.com/batch/

Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/

Scheduling - Step Functions https://aws.amazon.com/step-functions/

Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/

[xguru]

ไม่ว่าจะใช้ไลบรารีแมชชีนเลิร์นนิง/ดาต้าไซเอนซ์อย่าง PyTorch, Tensorflow หรือ Scikit-Learn ก็สามารถเชื่อมต่อใช้งานร่วมกันได้ทั้งหมด