เจาะลึกความคล้ายคลึงของเวกเตอร์ในเอ็มเบดดิ้งมิติสูง

วิธีหาความน่าจะเป็นของ “ค่า inner product มีค่ามากกว่าหรือเท่ากับค่าหนึ่ง” ในปริภูมิมิติสูงนั้น อาศัยหลักการที่เรียบง่ายมาก กล่าวคือ คำนวณพื้นที่ผิวของทรงกลมหน่วย จากนั้นหาพื้นที่ของส่วนครอบทรงกลมจากมุมที่ค่า inner product นั้นแทนอยู่ แล้วนำไปเทียบกับพื้นที่ผิวทั้งหมดก็เป็นอันเสร็จ

แต่ประเด็นสำคัญคือ จากการคำนวณที่เรียบง่ายนี้ เราสามารถมองเห็นได้อย่างเป็นรูปธรรมว่าค่า inner product ค่าหนึ่ง ๆ เป็นเหตุการณ์ที่ ‘หายากหรือพบได้บ่อย’ เพียงใดในปริภูมิเอ็มเบดดิ้งมิติสูง โดยเฉพาะข้อเท็จจริงที่ว่าค่า inner product ตั้งแต่ 0.9 ขึ้นไปนั้นพบได้ยากอย่างยิ่ง แสดงให้เห็นได้ชัดว่าคะแนนความคล้ายคลึงที่สูงสามารถเป็นสัญญาณสำคัญได้มากเพียงใดในการค้นหาแบบอิงเอ็มเบดดิ้ง