sqlite-vec - ส่วนขยายการค้นหาเวกเตอร์สำหรับ SQLite

• ส่วนขยายการค้นหาเวกเตอร์สำหรับ SQLite ที่มีขนาดเล็กมากและ "เร็วได้ในระดับที่เพียงพอ"
• สามารถจัดเก็บและคิวรีเวกเตอร์แบบ float, int8 และไบนารีในตารางเสมือน vec0 ได้
• เขียนด้วย C ล้วนโดยไม่มี dependency และทำงานได้ทุกที่ที่ SQLite รันได้: Linux/MacOS/Windows, เบราว์เซอร์ (WASM), Raspberry Pi เป็นต้น
• สามารถทำ pre-filtering ของเวกเตอร์ได้ด้วยซับคิวรี rowid IN(...)
• เป็นผลงานสืบทอดต่อจาก sqlite-vss

[xguru]

มีคนกำลังพัฒนาส่วนขยายสำหรับการค้นหาเวกเตอร์บน SQLite มีโพสต์แบบนี้ขึ้นมาเมื่อ 3 เดือนก่อน และครั้งนี้ก็เปิดตัวแล้ว

ความเห็นจาก Hacker News

• sqlite-vec ใช้งานได้บน MacOS, Linux, Windows, Raspberry Pis, เบราว์เซอร์ WASM และอุปกรณ์พกพา

  • เป็นโซลูชันการค้นหาเวกเตอร์แบบ brute force ที่เร็วมาก
  • มีฟีเจอร์ทดลองที่สามารถ query เวกเตอร์ในหน่วยความจำได้โดยตรง
  • มีประสิทธิภาพที่สามารถแข่งขันกับ faiss, usearch และ duckdb ได้

• ดูรายละเอียดเพิ่มเติมได้จากบล็อกโพสต์ของ Alex

  • ลิงก์: https://alexgarcia.xyz/blog/2024/sqlite-vec-stable-release/index.html

• ลองใช้กับวิดีโอเกมแล้ว และยอดเยี่ยมมาก

• กำลังมองหาสิ่งที่คล้ายแบบนี้อยู่ พอเหมาะสำหรับ recommendation engine, การจับคู่เพลง และการจับคู่ perceptual hash

• เคยทำงานลักษณะคล้ายกันโดยใช้ duckDB เป็นแบ็กเอนด์

  • ลิงก์: https://github.com/patricktrainer/duckdb-embedding-search

• ชอบโปรเจ็กต์นี้มาก

  • น่าจะต้องทุ่มเทอย่างมากเพื่อแก้ปัญหาเรื่อง dependencies
  • อยากลองใช้ในโปรเจ็กต์ของตัวเอง

• มีกรณีใช้งานสำหรับฟีเจอร์นี้

  • ขอบคุณ AlexG ที่ทุ่มเทอย่างมาก
  • เอกสารก็ดีมากด้วย

• ลิงก์ที่เกี่ยวข้อง: https://news.ycombinator.com/item?id=40243168

• ตอนนี้กำลังทำตาม RAG tutorial ที่ใช้ postgreSQL และ pgvector อยู่

  • คิดว่าน่าจะลองทำซ้ำด้วย SQLite และ sqlite-vec ได้
  • ลิงก์: https://www.lycee.ai/courses/91b8b189-729a-471a-8ae1-717033c77eb5/chapters/a8494d55-a5f2-4e99-a0d4-8a79549c82ad

• ฟีเจอร์นี้น่าจะมีประโยชน์ กำลังทำการวิเคราะห์ข้อความแบบใช้ครั้งเดียวจำนวนมากบนโน้ตบุ๊กอยู่