4K4D: การสังเคราะห์มุมมอง 4D แบบเรียลไทม์ที่ความละเอียด 4K

 (zju3dv.github.io)
9 คะแนน โดย GN⁺ 2023-10-19 | 4 ความคิดเห็น | แชร์ทาง WhatsApp
  • งานวิจัยเรื่อง "การสังเคราะห์มุมมอง 4D แบบเรียลไทม์" ที่แก้ปัญหาความเร็วในการเรนเดอร์ที่ช้าเมื่อต้องสร้างมุมมองความละเอียดสูงแบบไดนามิกจากมุมที่แตกต่างกัน
  • 4K4D ใช้การแทนข้อมูลแบบ 4D point cloud ที่รองรับ hardware rasterization เพื่อเพิ่มความเร็วในการเรนเดอร์
  • การแทนข้อมูลแบบ 4D point cloud อาศัย 4D feature grid ที่ช่วยทำ normalization ของ point และเปิดทางให้ทำ optimization ที่มีประสิทธิภาพสูง
  • มีการออกแบบโมเดล appearance แบบ hybrid ใหม่เพื่อยกระดับคุณภาพการเรนเดอร์โดยยังคงประสิทธิภาพไว้
  • ทีมงานยังได้พัฒนาอัลกอริทึม Differentiable Depth Peeling เพื่อฝึกโมเดลที่เสนอนี้จากวิดีโอ RGB ได้อย่างมีประสิทธิภาพ
  • ผลการทดลองแสดงให้เห็นว่า การแทนข้อมูล 4K4D สามารถเรนเดอร์ได้มากกว่า 400 FPS ที่ความละเอียด 1080p บนชุดข้อมูล DNA-Rendering และ 80 FPS ที่ความละเอียด 4K บนชุดข้อมูล ENeRF-Outdoor โดยใช้ GPU RTX 4090
  • เร็วกว่าวิธีการก่อนหน้าถึง 30 เท่า พร้อมบรรลุคุณภาพการเรนเดอร์ระดับล้ำสมัย
  • วิธีการ 4K4D ฝึกจากวิดีโอ RGB แบบหลายมุมมองผ่านอัลกอริทึม Differentiable Depth Peeling
  • ในงานวิจัยมีผลลัพธ์เชิงคุณภาพจากชุดข้อมูลหลากหลายชุดและเดโมแบบเรียลไทม์
  • ผู้เขียนงานวิจัยมาจาก Zhejiang University, Image Derivative Inc. และ Ant Group

บทความที่เกี่ยวข้อง

4 ความคิดเห็น

 
ragingwind 2023-10-19

"ผู้ใช้คาดเดาว่าเทคโนโลยีนี้อาจถูกนำไปใช้ในวงการบันเทิงสำหรับผู้ใหญ่ เพื่อให้เกิดการโต้ตอบที่ปรับแต่งได้มากขึ้น"
 
xguru 2023-10-19

อ๋อ อย่างที่คิดเลยว่าความก้าวหน้าทางเทคโนโลยีนี่ฝั่งนั้นเป็นผู้นำ..
 
xguru 2023-10-19

ว้าว.. ถ้าเอาอันนี้ไปใช้กับอะไรอย่างวิดีโอ ก็น่าจะพอดูได้บนอะไรอย่างชุดหูฟัง VR นะครับ
 
GN⁺ 2023-10-19
ความเห็นจาก Hacker News
  • '4K4D: เทคโนโลยีสังเคราะห์มุมมอง 4D แบบเรียลไทม์' กำลังได้รับความสนใจจากศักยภาพในการประยุกต์ใช้ในหลากหลายสาขา
  • ผู้ใช้คาดเดาว่าเทคโนโลยีนี้อาจถูกใช้ในวงการบันเทิงสำหรับผู้ใหญ่เพื่อการโต้ตอบที่ปรับแต่งได้มากขึ้น
  • เทคโนโลยีนี้อาจนำไปใช้ในการสร้างภาพเหตุการณ์อาชญากรรมขึ้นใหม่หรือการวิเคราะห์อุบัติเหตุโดยใช้ภาพจาก CCTV
  • เทคโนโลยีนี้อาจเปลี่ยนวิธีการรับชมงานอีเวนต์อย่างงานแต่งงานหรือภาพยนตร์ไปอย่างสิ้นเชิง โดยเปิดให้ผู้ชมเลือกมุมมองในการรับชมได้
  • มีความคาดหวังว่าเทคโนโลยีนี้จะถูกนำไปใช้ในอีเวนต์กีฬา โดยให้ผู้ชมสามารถขยับกล้องบนคอร์ตได้
  • เทคโนโลยีนี้อาจถูกใช้เพื่อสร้างฉากสังเคราะห์ที่สามารถตั้งโปรแกรมเปลี่ยนตำแหน่งหรือเปลี่ยนนักแสดงได้
  • มีคำถามว่ามันขยายตัวแบบเชิงเส้นตามขนาดแคชและความยาววิดีโอหรือไม่ และการสร้างแคชใช้เวลานานแค่ไหน
  • ผู้ใช้บางรายพบปัญหากับเว็บไซต์ที่เรนเดอร์วิดีโอสั้น ๆ ซึ่งชี้ให้เห็นถึงความท้าทายที่อาจเกิดขึ้นกับ VR
  • มีคำถามเกี่ยวกับจำนวนกล้องที่จำเป็นสำหรับวิธีการนี้ โดยในงานวิจัยเสนอว่ามันถูกสร้างขึ้นจากข้อมูลต้นทางแบบหลายมุมมอง
  • มีการกล่าวถึงโปรเจกต์ที่เกี่ยวข้องซึ่งใช้ Kinect v2 โดยแม้โปรเจกต์นั้นจะถูกยุติไปแล้ว แต่ดูเหมือนว่าแนวทางนี้จะสามารถก้าวข้ามข้อจำกัดเดิมได้
  • เทคโนโลยีนี้ถูกนำไปเปรียบเทียบกับสิ่งที่เคยทำนายไว้ในรายการ 'Red Dwarf'
  • เทคโนโลยีนี้ดูเหมือนจะมีศักยภาพในการปฏิวัติ AR/VR
  • ผู้ใช้คาดเดาถึงการผสานเสียงเชิงปริมาตรและ VR เพื่อสร้าง 'Braindance' จากเกม Cyberpunk 2077 ขึ้นมาใหม่ แต่การผสานความรู้สึกทางกายยังดูเป็นเป้าหมายในอนาคตอันไกล