Meta AI เปิดตัว CoTracker โมเดลสำหรับติดตามทุกจุด (พิกเซล) ในวิดีโอ

 (co-tracker.github.io)
3 คะแนน โดย GN⁺ 2023-08-31 | 3 ความคิดเห็น | แชร์ทาง WhatsApp
  • Meta AI เปิดตัว CoTracker โมเดลใหม่สำหรับติดตามจุด (พิกเซล) ในวิดีโอ
  • CoTracker มีเป้าหมายเพื่อติดตามหลายจุดตลอดทั้งวิดีโอโดยคำนึงถึงความสัมพันธ์ระหว่างจุดต่าง ๆ
  • สถาปัตยกรรมนี้อิงจากแนวคิดในงานด้าน optical flow และวรรณกรรมด้านการติดตาม โดยใช้เครือข่ายทรานส์ฟอร์เมอร์ที่มีเลเยอร์ attention แบบเฉพาะทาง
  • ใช้วิธี sliding window จึงสามารถนำไปใช้กับวิดีโอขนาดยาวได้ และพิสูจน์แล้วว่ามีประสิทธิภาพและความแม่นยำสูงเมื่อเทียบกับวิธีติดตามจุดแบบอื่น
  • โมเดลนี้สร้างการติดตามที่สะอาดและเป็นเส้นตรงมากขึ้น โดยเฉพาะในกรณีที่มีการบังวัตถุ
  • CoTracker แสดงประสิทธิภาพที่เหนือกว่างานวิจัยอื่น ๆ เช่น TAPIR และ Multi-Flow Tracking ในด้านความแม่นยำ
  • นับเป็นความก้าวหน้าสำคัญที่มอบเครื่องมือใหม่อันทรงพลังให้วิศวกรซอฟต์แวร์สำหรับการติดตามจุดในวิดีโอ เพื่อยกระดับประสิทธิภาพและความแม่นยำ

บทความที่เกี่ยวข้อง

3 ความคิดเห็น

 
kuroneko 2023-08-31

เดโมดูสวยดีนะ พอคิดถึงสิ่งที่จำเป็นใน VR แล้ว ก็ดูเหมือนว่าจะมีบางส่วนที่สอดคล้องกับธุรกิจอยู่เหมือนกัน...
 
GN⁺ 2023-08-31
ความเห็นจาก Hacker News
  • มุมมองเชิงธุรกิจของฝ่ายวิจัยของ Meta ยังไม่ชัดเจน และไม่เข้าใจความเชื่อมโยงกับธุรกิจหลัก
  • ดูเหมือนว่าประสบการณ์เกี่ยวกับ tracking pixel ของ Facebook จะมีส่วนช่วยต่อความสำเร็จของโมเดล CoTracker ของ Meta
  • ดูเหมือนว่าเป้าหมายของ Meta จะมุ่งเน้นไปที่การทำให้ VR สมจริงจนแยกไม่ออก และสร้างระบบ AI ที่สามารถเข้าใจโลกได้แบบเรียลไทม์
  • มีลิงก์ไปยังงานวิจัย, GitHub และเดโมของ CoTracker
  • Google มี point tracking เวอร์ชันของตัวเองชื่อ Tapir ที่ใช้ไลเซนส์ Apache-2.0
  • กระบวนการวิจัยในบริษัทผลิตภัณฑ์นั้นแตกต่างจากบริษัทที่ขับเคลื่อนด้วยวิศวกรรม
  • การเปรียบเทียบระหว่าง CoTracker กับอัลกอริทึม motion estimation ของวิดีโอโค้เดกทำให้เกิดคำถาม
  • โมเดล AI โอเพนซอร์สอย่าง CoTracker อาจนำไปสู่ตลาดที่มีการแข่งขันสูงมากและมาร์จินต่ำสำหรับสตาร์ทอัพ
  • มีการกล่าวถึงบุคคลทรงอิทธิพลอย่าง Andrew Zisserman, Hartley และ Faugeras
  • CoTracker อาจมีการนำไปใช้กับงาน AR ในอนาคต
 
xguru 2023-08-31

มุมมองเชิงธุรกิจของฝ่ายวิจัยของ Meta ยังไม่ชัดเจน และไม่เข้าใจว่ามันเชื่อมโยงกับธุรกิจหลักอย่างไร

นี่คือคอมเมนต์ที่ตรงประเด็นเลย งานวิจัยก็ดีอยู่หรอก แต่ก็มีหลายส่วนที่ยังไม่ค่อยเข้าใจว่ามันสอดคล้องกับธุรกิจอย่างไร
ให้ความรู้สึกเหมือนกำลังมอง Google ในยุคก่อน ๆ อยู่เหมือนกัน..