sisi - เครื่องมือ CLI สำหรับค้นหารูปภาพเชิงความหมายแบบโลคัล

• เครื่องมือ CLI สำหรับค้นหารูปภาพเชิงความหมายแบบโลคัลโดยไม่ต้องใช้ API ของบุคคลที่สาม
• สร้างดัชนี image embedding และค้นหาด้วย node-mlx ซึ่งเป็นเฟรมเวิร์กแมชชีนเลิร์นนิงสำหรับ Node.js
• แพลตฟอร์มที่รองรับ
  • GPU : Mac Apple Silicon
  • CPU : Mac x64, Linux x64/arm64
• ใช้ sisi index <target> เพื่อสร้างดัชนีสำหรับรูปภาพในโฟลเดอร์ที่ระบุ
• ใช้ sisi search 'cat jumping' เพื่อค้นหารูปภาพที่มีเนื้อหาตรงตามที่ระบุ

วิธีการทำงาน

• ดัชนีจะคำนวณ image embedding ด้วย โมเดล CLIP ของ OpenAI แล้วบันทึกเป็น binary JSON
• การค้นหารูปภาพจะคำนวณ cosine similarity ระหว่างสตริงคำค้นกับ embedding ที่ทำดัชนีไว้
• ไม่มีฐานข้อมูล และทุกครั้งที่ค้นหาจะคำนวณกับ embedding ที่บันทึกไว้ทั้งหมด แม้จะมีรูปภาพหลายหมื่นภาพก็ยังทำงานได้เร็วมาก
• อิมพลีเมนต์ CLIP สำหรับ JavaScript ใช้ frost-beta/clip