Tuplex - เฟรมเวิร์กประมวลผลบิ๊กดาต้าแบบขนาน
(github.com)- มี Python API ที่คล้ายกับ Apache Spark / Dask แต่
→ ไม่เรียกใช้งาน Python interpreter
→ สร้าง LLVM bytecode ที่ปรับให้เหมาะกับไปป์ไลน์และชุดข้อมูลอินพุตที่กำหนด
→ เร็วกว่า interpreter 5~91 เท่า
-
ภายในใช้ data-driven compilation และ dual-mode processing เป็นพื้นฐาน จึงให้ความเร็วใกล้เคียงกับไปป์ไลน์ที่เขียนด้วย C++ และปรับแต่งมาอย่างเหมาะสม
-
รองรับ MacOS / Linux
-
งานวิจัย "Tuplex: Data Science in Python at Native Code Speed" ที่นำเสนอใน SIGMOD '21
ยังไม่มีความคิดเห็น