มาดูกันว่า Airflow เป็นตัวเลือกที่ดีที่สุดสำหรับยูสเคสของฉันจริงหรือไม่

• มีทางเลือกแทน Airflow มากเกินไป จึงจำเป็นต้องตรวจสอบให้แน่ชัดว่า Airflow เป็นโซลูชันที่ดีที่สุดสำหรับยูสเคสของฉันจริงหรือไม่ (หรืออย่างน้อยเป็นโซลูชันที่ใช้ได้จริงหรือเปล่า)
• ทางเลือกที่กล่าวถึงในบทความนี้
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

ยังมี cwl, wdl, nextflow, snakemake เป็นต้น

[kbumsik]

ปัญหาคือก่อนจะได้ลองใช้ด้วยตัวเองในระดับหนึ่ง มันไม่ง่ายเลยที่จะคาดเดาว่า Airflow เหมาะกับตัวเองหรือเปล่า
ถึงจะดังมาก แต่ดูเหมือนว่าจะมีจุดที่เป็นกับดักบางอย่างซึ่งรู้ล่วงหน้าได้ยากอยู่พอสมควร

ทั้งการไม่มี event-based DAGrun trigger, การพัฒนาแบบโลคัลที่ไม่ง่ายนัก (ใน 2.2 มี airflow standalone เพิ่มเข้ามา เลยสะดวกขึ้นนิดหน่อย), โครงสร้าง DAG ที่ไม่ค่อยไดนามิก, รวมถึงถ้าไม่เข้าใจการทำงานภายในดี ก็มีโอกาสสูงที่จะไม่ใช้ jinja template และเผลอใช้ Variable ผิดวิธี เป็นต้น...

โปรเจกต์ถัดไปอยากลองใช้ Dagster ดูสักครั้ง