Google search in videos

สวัสดีครับ
ผมเคยพัฒนาและให้บริการแอปบันทึกการออกกำลังกายชื่อ Flick และ
ตอนนี้เป็นนักพัฒนาที่สนใจ LLM, Multimodal, Langchain โดยเฉพาะจุดตัดระหว่าง LLM agent กับวิดีโออย่างมาก

โปรเจ็กต์ที่อยากแนะนำคือเสิร์ชเอนจิน ที่สามารถ ค้นหาฉากหรือคลิปวิดีโอที่ต้องการภายในวิดีโอที่อัปโหลดแล้วด้วยข้อความหรือรูปภาพ

ปัจจุบันวิดีโอส่วนใหญ่ยังถูกจัดการโดยมนุษย์ แต่ผมเริ่มโปรเจ็กต์นี้จากความคิดที่ว่า หากมี API สำหรับจัดการวิดีโอ AI agent ก็อาจสามารถตัดต่อหรือดึงส่วนต่าง ๆ ของวิดีโอได้โดยตรงไม่ใช่หรือ?

เพื่อให้ลองใช้งานกันได้แบบทดลอง ผมได้อัปโหลดวิดีโอ YouTube แบบสุ่มไว้ใน Playground แล้ว
หากให้ฟีดแบ็กเกี่ยวกับการใช้งานได้จะขอบคุณมากครับ

P.S. หากต้องการอัปโหลดวิดีโอด้วยตนเอง หรือต้องการผลลัพธ์ในรูปแบบ API สามารถติดต่อมาได้ทุกเมื่อครับ

[kuroneko]

เมื่อก่อนมีโปรแกรมจัดการโฮมวิดีโออยู่บ้างที่
ดึงหลายฉากออกมาจากวิดีโอ แล้วใช้ CNN แบบดั้งเดิม(?) เพื่อจัดหมวดหมู่และค้นหาฉากได้...

แต่อันนี้ดูเหมือนจะทำได้ดีจนคนละระดับกับวิธีแบบนั้นเลยครับ

ลองค้นหาดูสองสามครั้งแล้ว ผลลัพธ์ราว ๆ 70~80% น่าจะเป็นฉากที่ผมหาอยู่จริง ๆ ครับ
ยกตัวอย่างเช่น พอค้นหา "A scene where something explodes" ก็หาฉากที่มีอะไรสว่างวาบในหนัง Spider-Man ได้ค่อนข้างแม่นเลย

แน่นอนว่าฉากที่เปลี่ยนเร็ว ๆ มันก็จับว่าเป็นการระเบิดเหมือนกัน... แต่ก็ยังน่าทึ่งมากครับ
พอลองอัปโหลดรูปที่มีโลโก้ Netflix มันก็หาภาพที่มีอะไรทำนองโลโก้บริษัทขึ้นมาได้หมดเลย รวมถึง Netflix ด้วย

(ถึงอย่างนั้นที่ยังใช้ภาษาเกาหลีไม่ได้ก็น่าเสียดายนิดหน่อยครับ)

[kuroneko]

ฟีเจอร์นี้น่าจะทำงานกับรูปภาพได้ดีเหมือนกัน แบบนี้ก็เลยทำให้คิดว่าวันที่แต่ละคนจะสามารถค้นหาทั้งอัลบั้มของตัวเองรวมถึงวิดีโอด้วย AI ได้คงอีกไม่นานแล้ว

หรือเวลาตัดต่อไลฟ์สดหรือวิดีโอที่ยาวมาก ๆ ก็อาจไม่ต้องดูทั้งวิดีโอทั้งหมด
แต่ใช้ AI ช่วยค้นหาไฮไลต์หรือช่วงที่ต้องการจริง ๆ แล้วดึงมาใช้ได้...

ถ้ามองในมุมขององค์กร ก็อาจมีฟังก์ชันค้นหาใน YouTube ด้วยภาษาธรรมชาติ+ฉากเข้ามาได้เหมือนกันนะครับ

อย่างไรก็ตาม ขอบคุณที่เผยแพร่โปรเจกต์เจ๋ง ๆ แบบนี้ครับ
แม้ว่าจะดูเหมือนต่างจากทิศทางที่กำลังพัฒนาอยู่ตอนนี้เล็กน้อย แต่ก็หวังว่าสักวันโปรเจกต์แบบนี้จะถูกเปิดเป็นโอเพนซอร์สและสามารถ Self host ได้ครับ

[ysc7064]

สวัสดีครับคุณ kuroneko ขอบคุณมากที่ดูเหมือนคุณจะสนุกกับการทดลองเล่นโปรเจกต์นี้

1. 'วันที่แต่ละคนจะสามารถค้นหาทั้งอัลบั้มของตัวเองที่รวมวิดีโอด้วยได้ด้วย AI'
   -> ทำให้นึกถึงภาพตัวเองที่เคยคุ้ยหาไฟล์รูปในอัลบั้มเลยครับ...

2. 'ตัดต่อวิดีโอที่มีความยาวมาก ๆ แล้วใช้ AI ค้นหาไฮไลต์หรือส่วนที่ต้องการเพื่อนำมาใช้'
   -> ใช่เลยครับ ผมสนใจการใช้ AI เพื่อลดต้นทุนส่วนเพิ่มของการผลิตวิดีโอ

ขอขอบคุณอีกครั้งมาก ๆ ที่ส่งฟีดแบ็กการใช้งานอย่างละเอียดมาแบบนี้
ผมจะอ่านอย่างตั้งใจและดึงส่วนที่สามารถสร้างแรงบันดาลใจให้โปรเจกต์ไปปรับใช้อย่างต่อเนื่องครับ