พลวัตของภาพเชิงกำเนิด

• บทความเกี่ยวกับแนวทางใหม่ของการสร้างแบบจำลองที่ให้ความสำคัญกับ image-space สำหรับความเคลื่อนไหวของฉาก ซึ่งพัฒนาโดยนักวิจัยจาก Google
• ฝึกโมเดลโดยใช้วิถีการเคลื่อนไหวที่สกัดจากลำดับวิดีโอจริงซึ่งมีการเคลื่อนไหวแบบสั่นไหวตามธรรมชาติ
• โมเดลใช้กระบวนการ diffusion sampling ที่ปรับความถี่เพื่อทำนายตัวแทนการเคลื่อนไหวระยะยาวต่อพิกเซลในโดเมนฟูเรียร์ ซึ่งเรียกว่า neural stochastic motion texture
• ตัวแทนนี้สามารถแปลงเป็นวิถีการเคลื่อนไหวแบบหนาแน่นที่ครอบคลุมทั้งวิดีโอได้
• โมเดลสามารถนำไปใช้ได้หลากหลาย เช่น แปลงภาพนิ่งให้เป็นวิดีโอเคลื่อนไหวที่วนซ้ำได้อย่างลื่นไหล หรือทำให้ผู้ใช้สามารถโต้ตอบกับวัตถุในภาพถ่ายจริงได้อย่างสมจริง
• โมเดลสามารถจำลองการตอบสนองของความเคลื่อนไหวของวัตถุต่อแรงกระตุ้นจากผู้ใช้ที่โต้ตอบได้
• สามารถลดหรือขยายการเคลื่อนไหวได้โดยการปรับแอมพลิจูดของ motion texture
• สามารถสร้างวิดีโอสโลว์โมชันได้โดยการอินเตอร์โพเลต motion texture ที่ทำนายไว้
• นักวิจัยขอขอบคุณ Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo และ Lucy Chai สำหรับการมีส่วนร่วมด้านการตรวจทาน ความเห็น และการอภิปราย
• เว็บไซต์ที่ใช้ในการสาธิตยืมมาจาก nerfies และขอขอบคุณ Keunhong