Lance - ฟอร์แมตข้อมูลแบบคอลัมน์รุ่นใหม่ที่ปรับให้เหมาะกับเวิร์กโฟลว์ ML
(github.com/lancedb)- แปลงจาก Parquet ได้ด้วยโค้ดเพียง 2 บรรทัด พร้อมรองรับการเข้าถึงแบบสุ่มที่เร็วขึ้น 100 เท่า, การทำดัชนี/ค้นหาเวกเตอร์, การทำเวอร์ชันข้อมูล เป็นต้น
- ใช้งานร่วมกับ pandas, duckdb, polars, pyarrow เป็นต้นได้
- zero-copy, ทำเวอร์ชันอัตโนมัติ
- กรณีใช้งานที่เหมาะสม
- การสร้างเสิร์ชเอนจินและฟีเจอร์สโตร์
- การฝึกโมเดล ML ขนาดใหญ่ที่ต้องการ IO และการ shuffle ประสิทธิภาพสูง
- การจัดเก็บ/คิวรี/ตรวจสอบข้อมูลซ้อนกันที่ซับซ้อน เช่น robotics, Blob ขนาดใหญ่ (image, point-cloud, ..) เป็นต้น
ยังไม่มีความคิดเห็น