- เครื่องมือ CLI สำหรับค้นหารูปภาพเชิงความหมายแบบโลคัลโดยไม่ต้องใช้ API ของบุคคลที่สาม
- สร้างดัชนี image embedding และค้นหาด้วย
node-mlx ซึ่งเป็นเฟรมเวิร์กแมชชีนเลิร์นนิงสำหรับ Node.js
- แพลตฟอร์มที่รองรับ
- GPU : Mac Apple Silicon
- CPU : Mac x64, Linux x64/arm64
- ใช้
sisi index <target> เพื่อสร้างดัชนีสำหรับรูปภาพในโฟลเดอร์ที่ระบุ
- ใช้
sisi search 'cat jumping' เพื่อค้นหารูปภาพที่มีเนื้อหาตรงตามที่ระบุ
วิธีการทำงาน
- ดัชนีจะคำนวณ image embedding ด้วย โมเดล CLIP ของ OpenAI แล้วบันทึกเป็น binary JSON
- การค้นหารูปภาพจะคำนวณ cosine similarity ระหว่างสตริงคำค้นกับ embedding ที่ทำดัชนีไว้
- ไม่มีฐานข้อมูล และทุกครั้งที่ค้นหาจะคำนวณกับ embedding ที่บันทึกไว้ทั้งหมด แม้จะมีรูปภาพหลายหมื่นภาพก็ยังทำงานได้เร็วมาก
- อิมพลีเมนต์ CLIP สำหรับ JavaScript ใช้ frost-beta/clip
ยังไม่มีความคิดเห็น