Infinigen: สร้างโลกโฟโต้เรียลลิสติกได้อย่างไม่สิ้นสุดด้วยการสร้างเชิงขั้นตอน

 (github.com/princeton-vl)
2 คะแนน โดย GN⁺ 2024-12-24 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Infinigen คือ "ตัวสร้างฉาก 3D แบบเชิงขั้นตอน" ซึ่งใช้สร้างข้อมูลฝึกอบรม 3D คุณภาพสูงสำหรับงานวิจัย computer vision
  • ทำงานบนพื้นฐานของ Blender และเปิดให้ใช้งานฟรีในรูปแบบโอเพ่นซอร์สภายใต้ BSD 3-Clause License

คุณสมบัติหลักและลักษณะเด่น

การสร้างแบบเชิงขั้นตอน (Procedural)

  • สร้างรูปทรงและวัสดุทั้งหมดแบบสุ่มตามกฎทางคณิตศาสตร์
  • สร้างได้ทั้งจากโครงสร้างระดับกว้างจนถึงรายละเอียดเล็กที่สุด
  • รองรับการดัดแปลงได้แทบไม่รู้จบและปรับแต่งได้ตามความต้องการ

ข้อมูลที่หลากหลาย (Diverse)

  • สามารถสร้างวัตถุและฉากที่หลากหลายได้ เช่น พืช สัตว์ ภูมิประเทศ ไฟ ปรากฏการณ์เมฆ ฝน และหิมะ
  • แม้จะมีจุดเน้นเริ่มต้นที่สภาพแวดล้อมธรรมชาติ แต่มีแผนขยายไปยังวัตถุเทียมและสภาพแวดล้อมทางสถาปัตยกรรมในอนาคต

รูปทรงเรขาคณิตจริง (Real Geometry)

  • รูปทรงเรขาคณิตทุกชิ้นถูกสร้างขึ้นอย่างแท้จริง ทำให้ข้อมูล 3D มีความถูกต้องแม่นยำ
  • ไม่ใช้เทคนิคแทนรายละเอียดเสมือนเช่น bump map หรือ normal map
  • ถูกออกแบบมาเพื่อเหมาะสมกับงานวิจัยด้าน computer vision โดยเฉพาะ 3D vision

การสร้างคำอธิบายอัตโนมัติ (Automatic Annotations)

  • สร้าง annotation คุณภาพสูงโดยอัตโนมัติ เช่น optical flow, 3D scene flow, depth, surface normal, panoptic segmentation, และขอบการบดบัง
  • ให้สิทธิ์เข้าถึงกระบวนการเรนเดอร์ทั้งหมดแก่ผู้ใช้ ทำให้ปรับแต่ง annotation ได้อย่างง่ายดาย

--

บทความวิจัย

  1. Infinite Photorealistic Worlds Using Procedural Generation

    • *นำเสนอครั้งแรกในการประชุม *IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023
    • บทความนี้ว่าด้วยความเป็นไปได้อย่างไร้ขีดจำกัดของการสร้าง 3D แบบ procedural

  2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

    • CVPR 2024 กำลังจะนำเสนอ
    • บทความวิจัยเกี่ยวกับแนวทางการสร้างฉากภายในอาคารแบบกระบวนการเชิงขั้นตอน

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-12-24
ความคิดเห็นบน Hacker News

  • โครงการนี้น่าทึ่งมาก

    • ฉันมีคำถามสำหรับนักวิจัย ML/AI ว่ามีเอกสารงานวิจัย ML/AI ที่เกี่ยวข้องกับเรื่องนี้หรือไม่ โดยเฉพาะการฝึกหุ่นยนต์ในสภาพแวดล้อมเสมือนจริง
    • ฉันอยากรู้ว่าปัจจุบันในสาขา ML/AI มีการใช้ชุดข้อมูลใดเพื่อฝึกหุ่นยนต์

  • ฉากในอาคารดูสมจริงมาก แต่ฉากกลางแจ้งขาดความน่าเชื่อถือมาก ยังล้าหลังเทคโนโลยีล่าสุดอยู่

  • ฉันเห็นว่ารายชื่อผู้เขียนมีมหาวิทยาลัยชั้นนำของจีนหลายแห่ง ซึ่งทำให้นึกสงสัยว่าอาจเป็นการละเมิดกฎการควบคุม/ส่งออกชิปหรือไม่

  • อยากรู้ว่ามันเคยถูกโพสต์มาก่อนหรือไม่ มันดูน่าทึ่งมาก แต่ดูเหมือนมีมานานหลายปีแล้ว อยากรู้ว่ามีการอัปเดตอะไรบ้าง

  • ลิงก์โพสต์ก่อนหน้า: https://news.ycombinator.com/item?id=36373494

  • ใน README ไม่ได้อธิบายชัดเจนว่าหมายถึงการสร้างการแปรผันแบบไม่รู้จบ หรือการสร้างโลกที่ไม่รู้จบ

  • คำอธิบาย meta tags ควรได้รับการอัปเดต และเมื่อแชร์แล้วจะแสดงเนื้อหา placeholder

  • ความเป็นไปได้แบบนี้ดูเหมือนพูดถึงบางอย่างเกี่ยวกับจักรวาล นั่นคือ สภาพแวดล้อมอาจมีข้อมูลไม่มากเท่าที่เราคิด

    • โดยเฉพาะอาจช่วยอธิบายได้ว่าทำไมสมองเล็ก ๆ ของสัตว์จึงสามารถสร้างแบบจำลองโลกและทำงานได้อย่างมีประสิทธิภาพอย่างไม่สมเหตุสมผล

  • ฉากนำที่คล้ายกับ The Matrix นี้ไม่ใช่เรื่องที่ละเอียดอ่อนเลย