การค้นหาแบบสั่นบน 'Wikipedia' ผ่านหน้าหลายล้านหน้าแบบออฟไลน์

 (leebutterman.com)
1 คะแนน โดย GN⁺ 2023-09-03 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • บทความเกี่ยวกับเสิร์ชเอนจิน Wikipedia แบบใหม่ที่ทำงานบนเบราว์เซอร์ และค้นหาแบบออฟไลน์ได้
  • เสิร์ชเอนจินสามารถค้นหาหน้า Wikipedia ได้หนึ่งล้านหน้าแบบเรียลไทม์ และคืนผลลัพธ์ทุก ๆ 10ms บนอุปกรณ์พกพา
  • ฐานข้อมูลของเสิร์ชเอนจินมีขนาดเล็ก เป็นกรณีการใช้งานทั่วไปที่รองรับ embedding หนึ่งล้านรายการได้โดยไม่ต้องมีการประมวลผลพิเศษ
  • เสิร์ชเอนจินใช้ sentence transformer สำหรับทำ document embedding, บีบอัด embedding ด้วย product quantization และใช้ pq.js เพื่อคำนวณระยะทางในเบราว์เซอร์
  • เสิร์ชเอนจินใช้ transformers.js เพื่อรัน sentence transformer ภายในเบราว์เซอร์สำหรับคิวรี
  • เสิร์ชเอนจินจัดเรียง embedding ตามขนาดหน้าที่ถูกบีบอัด ทำให้หน้าที่มีความหนาแน่นของข้อมูลสูงถูกวิเคราะห์ก่อน และถูกส่งกลับมาในอันดับสูงสุด 10 อันดับ
  • เสิร์ชเอนจินใช้ Arrow แทน JSON เพื่อประสิทธิภาพสูง โดย Arrow สามารถเก็บอาร์เรย์ product quantization แบบจำนวนเต็ม 8 บิตได้อย่างกระชับ
  • เสิร์ชเอนจินใช้โมเดล ONNX ที่รันบน WebAssembly และยังไม่มีการเร่งความเร็วด้วย GPU
  • เสิร์ชเอนจินทำ embedding ให้ Wikipedia ทั้งหมดด้วย sentence transformer, บีบอัด embedding ด้วย product quantization และเขียน ONNX ด้วยตนเอง
  • เสิร์ชเอนจินส่งออก numpy เป็น Arrow เพื่อเก็บ embedding และ metadata ซึ่งกระชับกว่ามากทั้งในหน่วยความจำและบนดิสก์
  • เสิร์ชเอนจินรองรับ faceted search ที่ช่วยให้ค้นหาแบบเรียลไทม์ในหมวดย่อยของผลิตภัณฑ์ได้
  • ผู้เขียนเชิญชวนให้ส่งข้อเสนอแนะและไอเดียปรับปรุง โดยเฉพาะเรื่องการรองรับระดับการ quantization แบบอื่นและมิติ embedding แบบอื่น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-09-03
ความคิดเห็นบน Hacker News
  • บทความเกี่ยวกับเครื่องมือใหม่สำหรับค้นหา Wikipedia แบบออฟไลน์
  • ผู้ใช้บางรายรายงานว่าเครื่องมือนี้มีความแม่นยำน้อยกว่าบริการ AI อย่าง ChatGPT
  • เป็นเครื่องมือที่ใช้ text embedding เพื่อจับคู่คำค้นหา
  • งานวิจัยล่าสุดชื่อ "การค้นหาข้อความโดยอิงจากคำอธิบายเชิงนามธรรม" ทำให้สามารถใช้คำค้นหาที่เป็นนามธรรมมากขึ้นได้
  • ผู้ใช้บางรายพบว่าเครื่องมือนี้มีประสิทธิภาพน้อยกว่า Google ในการให้ผลลัพธ์ตามที่คาดหวัง
  • ผู้ใช้รายหนึ่งเสนอว่าเครื่องมืออาจดีขึ้นหากฝังเวกเตอร์เฉพาะประโยคหรือย่อหน้าที่ให้นิยาม แทนที่จะฝังทั้งบทความ Wikipedia
  • มีคำชื่นชมต่อความสามารถแบบออฟไลน์และการนำไปใช้งานของเครื่องมือ แม้จะมีเสียงวิจารณ์บางส่วนเรื่องความแม่นยำ
  • ผู้ใช้บางรายประสบปัญหาทางเทคนิคที่เกี่ยวข้องกับเครื่องมือ เช่น เวลาโหลดที่ช้า
  • มีการกล่าวถึงโปรเจกต์ที่คล้ายกันชื่อ SemanticFinder ซึ่งให้ผู้ใช้คัดลอกและวางข้อความได้ยาวเท่าใดก็ได้ และจะคืนส่วนที่คล้ายที่สุดกลับมา
  • ผู้ใช้รายหนึ่งชี้ว่าประสิทธิภาพของเครื่องมืออาจถูกจำกัดด้วยคุณภาพของการนำเสนอหัวข้อใน Wikipedia
  • ผู้ใช้บางรายผิดหวังกับผลลัพธ์ของเครื่องมือ แต่ก็ยอมรับว่าเทคโนโลยีเบื้องหลังนั้นน่าประทับใจ
  • ผู้ใช้รายหนึ่งเสนอว่าแนวทางของเครื่องมือที่ฝังเวกเตอร์ทั้งบทความอาจไม่ใช่วิธีที่ดีที่สุดสำหรับแอปพลิเคชันประเภทนี้