'Gaussian splatting' ค่อนข้างเจ๋งมาก

 (aras-p.info)
2 คะแนน โดย GN⁺ 2023-09-09 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • บทความเกี่ยวกับงานวิจัยชื่อ "Real-Time Radiance Field Rendering using 3D Gaussian Splatting"
  • Gaussian splatting เป็นวิธีแทนฉาก 3D ด้วยอนุภาคหลายล้านจุดที่มีตำแหน่ง การหมุน ขนาด ความทึบแสง และสี
  • อนุภาคเหล่านี้ไม่ได้เรนเดอร์เป็นทรงกลมที่ขยายออก แต่เรนเดอร์เป็น Gaussian แบบ 2D ใน screen space
  • ผู้เขียนงานวิจัยได้พัฒนาวิธีสร้างอนุภาคหลายล้านจุดที่แทนฉากจากภาพถ่าย โดยใช้ gradient descent และ differentiable rendering
  • ผู้เขียนยังพัฒนาวิธีเรนเดอร์อนุภาคที่ถูกสเกลหลายล้านจุดเหล่านี้ได้อย่างรวดเร็วด้วย
  • ผู้เขียนบทความกำลังนำส่วนการแสดงผลแบบเรียลไทม์ของ Gaussian splatting ไปทำใน Unity และกำลังพิจารณาวิธีลดขนาดข้อมูล
  • บทความยังกล่าวถึงประวัติและการประยุกต์ใช้งานก่อนหน้าของ Gaussian splatting ซึ่งถูกคิดค้นขึ้นราวปี 2001-2002
  • ผู้เขียนได้แชร์ implementation ของ Gaussian splatting บน GitHub โดยระบุว่ามันใช้งานได้ แต่ยังไม่เร็วเท่ากับ implementation ทางการ
  • ผู้เขียนยังกล่าวด้วยว่า ขนาดข้อมูลและการใช้หน่วยความจำเป็นปัจจัยสำคัญเมื่อใช้ Gaussian splatting และฉากตัวอย่างที่ใช้ในบทความต้องใช้ข้อมูลบนดิสก์ 1.5GB

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-09-09
ความคิดเห็นจาก Hacker News
  • บทความเกี่ยวกับศักยภาพของ Gaussian splatting ซึ่งเป็นเทคนิคสำหรับสร้างฉาก 3 มิติขึ้นใหม่จากภาพจำนวนมาก ทำให้ผู้ที่ชื่นชอบเทคโนโลยีรู้สึกตื่นเต้น
  • Gaussian splatting เป็นเครื่องมือที่มีอนาคตสำหรับการสร้างสภาพแวดล้อมในอดีตขึ้นใหม่ และอาจปลุกกระแสความทรงจำได้
  • ใช้ gradient descent และ "differentiable rendering" โดยหลีกเลี่ยงการใช้คำที่เกี่ยวกับ "neural" ซึ่งผู้อ่านบางคนชื่นชมว่าไม่เดินตามกระแส
  • อย่างไรก็ตาม ผู้อ่านบางคนแย้งว่าการหลีกเลี่ยง neural network อาจไม่ใช่เป้าหมายที่ควรได้รับคำชม เพราะที่มันได้รับความนิยมก็มีเหตุผล และเป็นตัวประมาณฟังก์ชันที่ดี
  • บทความยังกล่าวถึง point-based rendering ซึ่งเป็นแกนหลักของ particle system ในเกม และผู้อ่านสังเกตเห็นการเปลี่ยนแปลงของ particle system ในเกมยุคหลัง
  • ผู้อ่านบางส่วนสงสัยว่า Gaussian splatting จะรองรับแสงแบบไดนามิกและการเคลื่อนไหวได้หรือไม่ เพราะโดยปกติ scene/radiance field มักเป็นแบบคงที่และมีแสงฝังอยู่ในตัว
  • เทคโนโลยีนี้ถูกนำไปเปรียบเทียบกับแนวคิด Braindance ใน Cyberpunk 2077 ที่ทำให้ผู้เล่นสามารถเคลื่อนที่ไปในความทรงจำทางภาพของผู้อื่นได้
  • ผู้อ่านตั้งตารอการทำ 3D Gaussian splatting rendering implementation ที่ปรับแต่งสำหรับ WebGPU เป็นครั้งแรก รวมถึงการบีบอัดและคลายข้อมูลฉากอย่างมีประสิทธิภาพ
  • ผู้อ่านบางคนแบ่งปันแหล่งข้อมูลเกี่ยวกับวิธีใช้ Gaussian splatting เช่นคู่มือสำหรับผู้เริ่มต้นบน YouTube
  • เทคโนโลยีนี้ไม่ใช่เรื่องใหม่ โดยมีการอ้างอิงถึง splatting สำหรับ volume rendering ตั้งแต่ปี 1991 และการใช้ voxel iso-surface ในช่วงปลายยุค 90
  • ผู้อ่านสงสัยเกี่ยวกับ state of the art ล่าสุดของ structure from motion ซึ่งเป็นเทคนิคที่แปลงวิดีโอของพื้นที่ให้เป็นฉาก 3 มิติ