เทคโนโลยี MeshAnything ที่แปลงการแสดงผล 3D ให้เป็น 3D mesh ที่มีประสิทธิภาพ

 (buaacyw.github.io)
1 คะแนน โดย GN⁺ 2024-06-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

MeshAnything: การสร้าง mesh แบบที่ศิลปินทำ

ภาพรวม

  • MeshAnything เลียนแบบวิธีที่ศิลปินมนุษย์ใช้ดึง mesh ออกจากการแสดงผล 3D
  • สามารถผสานเข้ากับไปป์ไลน์การผลิตทรัพยากร 3D ที่หลากหลาย เพื่อสร้าง mesh แบบที่ศิลปินทำ (AM) ซึ่งนำไปใช้ได้ในอุตสาหกรรม 3D

การเปรียบเทียบกับวิธีเดิม

  • MeshAnything สร้าง mesh โดยใช้จำนวนหน้า (face) น้อยกว่าหลายร้อยเท่า ทำให้ประสิทธิภาพด้านการจัดเก็บ การเรนเดอร์ และการจำลองดีขึ้นอย่างมาก
  • ให้ความแม่นยำได้ใกล้เคียงกับวิธีเดิม

วิธีการ

  • MeshAnything คือออโตเรเกรสซีฟทรานส์ฟอร์เมอร์ที่สร้าง mesh แบบที่ศิลปินทำให้สอดคล้องกับรูปทรง 3D ที่กำหนด
  • สุ่มตัวอย่าง point cloud จากทรัพยากร 3D ที่กำหนด เข้ารหัสเป็นคุณลักษณะ แล้วป้อนเข้าสู่ทรานส์ฟอร์เมอร์แบบ decoder-only
  • แทนที่จะเรียนรู้การกระจายของรูปทรง 3D ที่ซับซ้อน ระบบจะประกอบรูปทรงอย่างมีประสิทธิภาพผ่าน topology ที่ปรับให้เหมาะสม

ผลลัพธ์เพิ่มเติม

  • สามารถผสานรวมกับวิธีการผลิตทรัพยากร 3D ที่หลากหลาย เพื่อให้ได้การสร้าง mesh แบบที่ศิลปินทำซึ่งควบคุมได้สูง
  • MeshAnything สร้าง mesh ที่มี topology ดีกว่าและใช้จำนวนหน้าน้อยกว่า และยังสามารถสร้าง topology ที่ต่างไปโดยสิ้นเชิงได้ในขณะที่ยังคงรูปทรงที่คล้ายกัน

ความเห็นของ GN⁺

  • ประสิทธิภาพ: MeshAnything สร้าง mesh ด้วยจำนวนหน้าที่น้อยกว่าวิธีสร้าง mesh แบบเดิมมาก ทำให้ประสิทธิภาพด้านการจัดเก็บและการเรนเดอร์ดีขึ้นอย่างมาก
  • การประยุกต์ใช้: สามารถผสานกับไปป์ไลน์การผลิตทรัพยากร 3D ได้หลากหลาย จึงมีศักยภาพสูงในการนำไปใช้ทั่วทั้งอุตสาหกรรม 3D
  • ข้อได้เปรียบทางเทคนิค: สามารถประกอบรูปทรงได้อย่างมีประสิทธิภาพผ่าน topology ที่ปรับให้เหมาะสม โดยไม่ต้องเรียนรู้การกระจายของรูปทรง 3D ที่ซับซ้อน
  • มุมมองเชิงวิพากษ์: เมื่อนำเทคโนโลยีใหม่มาใช้ อาจมีปัญหาเรื่องความเข้ากันได้กับระบบเดิมหรือมีเส้นโค้งการเรียนรู้ในช่วงเริ่มต้น
  • ทางเลือกที่แนะนำ: โปรเจ็กต์อื่นที่มีความสามารถคล้ายกัน เช่น MeshGPT ก็น่าสนใจ และควรเปรียบเทียบข้อดีข้อเสียของแต่ละโปรเจ็กต์

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-06-22
ความคิดเห็นจาก Hacker News
  • ในสถานการณ์ที่งานวิจัยด้านการสร้างโมเดล 3D มักถูกวิจารณ์ งานวิจัยนี้จึงน่ายินดี แต่ก็น่าเสียดายที่ใช้ไลเซนส์แบบไม่เชิงพาณิชย์ ตามข้อมูลใน GitHub การสร้างเมชบน GPU A6000 ใช้หน่วยความจำราว 7GB และใช้เวลาประมาณ 30 วินาที และสร้างได้เฉพาะเมชที่มีจำนวนหน้าไม่เกิน 800 หน้า
  • นี่คือผลลัพธ์การสร้างแบบ low-polygon ที่ดีที่สุดเท่าที่เคยเห็น แม้จะยังเป็น triangular mesh อยู่ แต่ก็ค่อย ๆ ดีขึ้น
  • เป้าหมายสุดท้ายคือโพลิกอนที่เน้นสี่เหลี่ยม, edge smooth/crease, texture UV ที่เป็นธรรมชาติ, และการสร้าง PBR texture ผ่าน repeated texture จากนั้นควรมุ่งไปสู่การอนุมานโมเดล CAD จากภาพ
  • การจัดการเมชขนาดใหญ่หรือ point cloud ที่สร้างจากการสแกน LiDAR หรือ photogrammetry ต้องใช้ PC ประสิทธิภาพสูงและซอฟต์แวร์ราคาแพง การทำให้เมชมีขนาดเล็กลงเพื่อแชร์บนเว็บได้น่าจะมีประโยชน์
  • เคยมีประสบการณ์ประมวลผล point cloud scan ด้วยมือ มีข้อมูลถูกสร้างขึ้นมา 450GB และโปรเจกต์ก่อนหน้านี้มี 2.1TB สเกลของงานวิจัยนี้จึงดูเหมือนของเล่น แต่การเริ่มต้นเป็นสิ่งสำคัญ
  • การเรียกเมชที่ AI สร้างว่าเป็นสิ่งที่ "ศิลปินสร้าง" อาจทำให้เข้าใจผิด
  • ชอบที่ในย่อหน้าว่าด้วยผลกระทบทางสังคมมีการพูดถึงการลดต้นทุนแรงงาน ประเด็นสำคัญคือมันไม่ได้หมายความว่าจะลดความจำเป็นของศิลปิน
  • มีแผนจะลองทดสอบกับโมเดลที่ซับซ้อนบางตัว
  • MeshAnything สร้างเมชที่มีจำนวนหน้าน้อยลงหลายร้อยเท่า จึงช่วยเพิ่มประสิทธิภาพด้านการจัดเก็บ การเรนเดอร์ และการจำลองได้อย่างมาก
  • ลองเดโมออนไลน์แล้ว แต่เมชที่ได้มีรูโหว่ที่ต้นฉบับไม่มี เลยสงสัยว่าอัลกอริทึมมีปัญหาหรือไม่
  • เมชที่แปลงแล้วไม่ได้มีประสิทธิภาพนัก และมี n-gons จำนวนมาก จึงยังต้องทำงาน retopology ต่อ