Zero-1-to-3: สร้างวัตถุ 3D จากภาพเดียวด้วยโมเดล Diffusion
(zero123.cs.columbia.edu)- เฟรมเวิร์กสำหรับปรับมุมมองกล้องจากภาพ RGB เพียงภาพเดียวโดยใช้โมเดล diffusion ขนาดใหญ่
- แม้จะเป็นโมเดลที่ฝึกด้วยชุดข้อมูลสังเคราะห์ แต่ก็ทำงานแบบ zero-shot ได้ดีโดยไม่ต้องพรีเทรนเพิ่มเติมกับทั้งภาพจริงและภาพวาดแนวอิมเพรสชันนิสม์
- ด้วยวิธี diffusion สำหรับการปรับมุมมองนี้ ยังสามารถนำไปใช้กับงานสร้างภาพ 3D ขึ้นใหม่จากภาพเดียวได้ด้วย
- ผลการทดลองทั้งเชิงคุณภาพและเชิงปริมาณแสดงให้เห็นว่าให้ประสิทธิภาพเหนือกว่าโมเดลอื่นอย่างมาก ด้วยการพรีเทรนในสเกลระดับอินเทอร์เน็ต
1 ความคิดเห็น
จนถึงแค่ปีที่แล้วผมยังคิดว่าอีกไกลมากอยู่เลย
แต่ช่วงนี้มีเทคโนโลยีใหม่ ๆ และผลลัพธ์ใหม่ ๆ โผล่มาแทบวันเว้นวันเลย..