ค้นหาภายในวิดีโอ YouTube ด้วยภาษาธรรมชาติ

 (github.com)
10 คะแนน โดย xguru 2021-02-15 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ค้นหาฉากเฉพาะภายในวิดีโอด้วยโครงข่ายประสาท CLIP ของ OpenAI

→ ค้นหารูปภาพภายในวิดีโอ เช่น "Road Works", "People crossing the street", "Fire truck"

วิธีการทำงาน

  1. ดาวน์โหลดวิดีโอ YouTube

  2. แยกแต่ละเฟรม

  3. เข้ารหัสทุกเฟรมด้วย CLIP

  4. เข้ารหัสคำค้นภาษาธรรมชาติด้วย CLIP

  5. ค้นหาฉากเฉพาะด้วยคำค้นภาษาธรรมชาติ

  • รันได้ทันทีเป็นโน้ตบุ๊กบน Google Colab

→ https://colab.research.google.com/github/haltakov/…

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2021-02-15

ในคอมเมนต์มีอันที่นักพัฒนาคนเดียวกันทำระบบค้นหารูปภาพของ Unsplash ด้วย CLIP ไว้ด้วย ซึ่งอันนี้ก็น่าจะมีประโยชน์มากเช่นกัน

มันช่วยค้นหารูปภาพที่ต้องการจากภาพถ่าย 2 ล้านภาพที่อัปโหลดอยู่บน Unsplash

  • "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"