Amphi - ETL Python โอเพนซอร์ส

• ETL บนพื้นฐาน Python ที่ออกแบบมาเพื่อดึงข้อมูล เตรียมข้อมูล และจัดระเบียบข้อมูลจากแหล่งและรูปแบบที่หลากหลาย
  • รองรับได้ทั้งไฟล์แบบมีโครงสร้างและไม่มีโครงสร้าง (CSV, Parquet, PDF, Word, HTML เป็นต้น)
• มุ่งหมายให้ทั้งนักวิทยาศาสตร์ข้อมูลและวิศวกรข้อมูลสามารถพัฒนาไปป์ไลน์ได้อย่างง่ายดายด้วยอินเทอร์เฟซแบบ Low-Code ที่ใช้งานเข้าใจง่าย พร้อมทั้งสร้างโค้ด Python ที่นำไปดีพลอยได้ทุกที่
  • ออกแบบ data pipeline ด้วย GUI และสร้างโค้ด Python แบบเนทีฟที่สามารถดีพลอยได้ทั้ง on-premise และบนคลาวด์
• ทำงานได้อย่างยอดเยี่ยมสำหรับการผสานรวมข้อมูลจากไฟล์สู่ฐานข้อมูล การดึงและเตรียมข้อมูลสำหรับระบบด้านวิทยาศาสตร์ข้อมูลและระบบที่อิง LLM รวมถึงการเรียกค้นและเสริมข้อมูลผ่าน API

[xguru]

ความคิดเห็นบน Hacker News

• Amphi เป็นเครื่องมือ ETL แบบ low-code สำหรับข้อมูลแบบมีโครงสร้างและไม่มีโครงสร้าง มีประโยชน์สำหรับการรวมไฟล์ การเตรียมข้อมูล การย้ายข้อมูล และการสร้าง data pipeline สำหรับงาน AI โดยสร้างโค้ด Python ขึ้นมา ทำให้สามารถนำไป deploy ได้ทุกที่
• การทำให้คนที่ไม่ได้มีพื้นฐานเฉพาะทางทำงานด้านข้อมูลได้ง่ายขึ้น ไม่ได้เป็นเรื่องดีเสมอไป ถ้าการเขียน Python และ SQL เป็นเรื่องยาก ก็ควรพิจารณาไปทำอย่างอื่นจะดีกว่า
• ควรเปลี่ยนชื่อเรื่อง ไม่ใช่โอเพนซอร์ส แต่ใช้ไลเซนส์ Elastic License v2
• ไม่ใช่โอเพนซอร์ส ชื่อเรื่องทำให้เข้าใจผิด
• สำหรับคนที่ไม่รู้จักตัวย่อ ETL น่าจะดีถ้าเพิ่มคำอธิบายไว้บนเว็บไซต์
• สำหรับเครื่องมือ Python ETL แบบโอเพนซอร์ส dlthub.com และ hub.meltano.com เป็นตัวเลือกที่ดีกว่า ตอนนี้ใช้งาน Meltano อยู่จริงและพอใจมาก
• สงสัยว่า Amphi รองรับเฟรมเวิร์ก rapidsai dask_cudf ที่คล้ายกับ pandas หรือไม่
• ไอเดียดี แต่ abstraction ระดับสูงในเอกสารยังไม่ถูกต้องนัก ใน data pipeline ควรนิยามสิ่งที่ทำงานเหมือนตารางได้ และสามารถใช้การแปลงข้อมูลกับมันได้ จุดที่เป็นเครื่องมือฟรีก็น่าชื่นชม
• พอใจกับ Dagster อยู่แล้ว แต่ Amphi ก็น่าสนใจเช่นกัน
• สงสัยว่าเครื่องมืออย่าง Amphi เกิดขึ้นมาได้อย่างไร ในเมื่อมีเครื่องมือ Python ETL แบบโอเพนซอร์สอยู่มากแล้ว อยากรู้ว่าเครื่องมือนี้ถูกสร้างมาเพื่อแก้ปัญหาเฉพาะอย่างหนึ่ง หรือเป็นโปรเจกต์ที่ทำด้วยความหลงใหล