CityGaussian: การเรนเดอร์ฉากขนาดใหญ่แบบเรียลไทม์คุณภาพสูงด้วย Gaussian

 (dekuliutesla.github.io)
1 คะแนน โดย GN⁺ 2024-04-03 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

CityGaussian: เทคนิค Gaussian สำหรับการเรนเดอร์ฉากขนาดใหญ่ที่รวดเร็วและคุณภาพสูง

  • CityGaussian (CityGS) นำเสนอแนวทางใหม่สำหรับการฝึกอย่างมีประสิทธิภาพและการเรนเดอร์แบบเรียลไทม์ของ 3D Gaussian Splatting (3DGS) ขนาดใหญ่
  • ด้วยความรู้ล่วงหน้าเกี่ยวกับฉากในภาพรวมและการคัดเลือกข้อมูลฝึกแบบปรับตัวได้ จึงทำให้การฝึกมีประสิทธิภาพและการเชื่อมต่อแบบไร้รอยต่อเป็นไปได้
  • ระบบสร้างระดับรายละเอียดที่หลากหลายแบบบีบอัดจากข้อมูล Gaussian ดั้งเดิม และทำให้การเรนเดอร์อย่างรวดเร็วในหลายสเกลเป็นจริงได้ผ่านกลยุทธ์การเลือกและการรวมระดับรายละเอียดแบบบล็อกที่นำเสนอ
  • ผลการทดลองอย่างกว้างขวางกับฉากขนาดใหญ่แสดงให้เห็นว่าแนวทางนี้บรรลุคุณภาพการเรนเดอร์ระดับล้ำสมัย และสามารถเรนเดอร์ฉากขนาดใหญ่ที่มีสเกลแตกต่างกันมากได้อย่างสม่ำเสมอแบบเรียลไทม์

การเปรียบเทียบกับ SOTA

  • เทคโนโลยี LoD โดยไม่มี CityGS: MatrixCity ถูกอธิบายด้วย Gaussian จำนวน 25 ล้านตัว และเมื่อทดสอบบน A100 ให้ความเร็ว 18 FPS ซึ่งนำไปสู่ประสบการณ์การเดินสำรวจที่ไม่น่าพอใจ
  • เทคโนโลยี LoD พร้อม CityGS: ด้วยการรองรับ LoD ทำให้ CityGS สามารถเรนเดอร์แบบเรียลไทม์ได้ในสเกลที่แตกต่างกันมาก โดยมีความเร็วเฉลี่ย 36 FPS จากการทดสอบบน A100

การเปรียบเทียบเชิงภาพ

  • มีการเปรียบเทียบเชิงภาพถึงคุณภาพการเรนเดอร์ที่เหนือกว่าของ CityGS กับเทคโนโลยีเดิม เช่น MegaNeRF, SwitchNeRF, GPNeRF และ 3DGS

ความเห็นของ GN⁺

  • CityGaussian แสดงถึงความก้าวหน้าทางเทคนิคที่สำคัญในการเรนเดอร์ฉาก 3D ขนาดใหญ่แบบเรียลไทม์ ซึ่งเพิ่มศักยภาพในการประยุกต์ใช้ในด้านต่าง ๆ เช่น ความจริงเสมือน การพัฒนาเกม การวางผังเมือง และการจำลอง
  • การเรนเดอร์แบบเรียลไทม์เป็นปัจจัยที่ช่วยยกระดับประสบการณ์ผู้ใช้ได้อย่างมาก และอัตราเฟรมสูงที่ CityGaussian มอบให้จะทำให้ประสบการณ์ดังกล่าวลื่นไหลและสมจริงยิ่งขึ้น
  • อย่างไรก็ตาม เทคโนโลยีการเรนเดอร์แบบเรียลไทม์โดยทั่วไปมักต้องใช้ทรัพยากรการประมวลผลสมรรถนะสูง ซึ่งอาจเป็นข้อจำกัดในด้านต้นทุนและการเข้าถึง
  • เพื่อให้เทคโนโลยีนี้ได้รับการยอมรับอย่างแพร่หลาย จำเป็นต้องมีการพัฒนาฮาร์ดแวร์ควบคู่ไปกับการปรับปรุงเทคนิคการเพิ่มประสิทธิภาพอย่างต่อเนื่อง
  • นอกจากนี้ อาจมีโครงการหรือผลิตภัณฑ์อื่นในตลาดที่ใช้เทคโนโลยีคล้ายกับ CityGaussian ดังนั้นผู้ใช้ควรเปรียบเทียบหลายตัวเลือกเพื่อเลือกโซลูชันที่เหมาะสมที่สุดกับความต้องการของตน

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-04-03
ความคิดเห็นจาก Hacker News
  • แนะนำโปรเจ็กต์ทดลองที่ผสาน Google Maps 3D Tiles กับ Gaussian Splat และด้วยเทคโนโลยีนี้จึงทำเอฟเฟกต์ที่คล้ายของจริงได้ พร้อมมีตัวอย่างที่รวมโค้ดที่เกี่ยวข้องไว้ด้วย
  • ชุดข้อมูลที่ใช้ในวิดีโอน่าจะเป็น 'Matrix city' ซึ่งดูเหมือนดึงมาจากเดโม Matrix ของ Unreal Engine 5 ที่ปล่อยออกมาเมื่อหลายปีก่อน และคาดว่าสร้างขึ้นด้วยเทคนิค photorealism ไม่ใช่ภาพถ่าย
  • อัตราเฟรมเฉลี่ยอยู่ที่ 36 เฟรมต่อวินาที โดยทดสอบบนการ์ดจอ A100 ซึ่งมีราคาราว $8,000
  • เทคนิคที่เรียกว่า Gaussian Splat ตั้งชื่อตาม Gauss แม้เจ้าตัวจะไม่ได้เป็นผู้คิดค้นเทคนิคนี้โดยตรง แต่มีส่วนสำคัญอย่างมากต่อรากฐานทางคณิตศาสตร์ของมัน
  • มีคำถามเชิงเทคนิคว่าเทคโนโลยีที่ทำให้ Unreal Engine สามารถโชว์เดโมที่น่าทึ่งในช่วงหลังคือ Gaussian Splat หรือไม่
  • มีความเห็นว่ากำลังรอดูว่าเทคโนโลยีนี้จะเผยแพร่ภายใต้ไลเซนส์แบบใด และอยากเห็นการนำไปใช้ในเกมโอเพนซอร์ส
  • มีปฏิกิริยาเชิงสนใจต่อเทคนิคขั้นสูงในการเรนเดอร์ฉากขนาดใหญ่ด้วย 3D Gaussian และอยากลองทดสอบโค้ดดู
  • มีความเห็นว่าดูเหมือนไม่มีอะไรที่เหนือกว่าเกมจำลองเมืองเดิมอย่าง 'Cities: Skylines' อย่างชัดเจน และการแสดงเพียงไม่กี่เฟรมทำให้ประเมินผลลัพธ์จริงได้ยาก
  • มีคอมเมนต์ตั้งข้อสงสัยว่า 3D Gaussian Splat จะมีประโยชน์จริงหรือไม่ โดยกังวลว่าความเร็วในการเรนเดอร์ช้าเกินไปและมีข้อมูลมากจนไม่ค่อยใช้งานได้จริง พร้อมทั้งอ้างว่า rasterization ย่อมเร็วกว่า ray tracing เสมอ อีกทั้งยังกล่าวว่าการสร้าง geometry และ material แบบดั้งเดิมจาก Gaussian point cloud ก็น่าสนใจ แต่ photogrammetry เองก็ถูกใช้งานมานานแล้ว
  • มีคำถามเกี่ยวกับความต้องการด้านหน่วยความจำและการประมวลผลของเทคโนโลยีนี้