Infinigen: สร้างโลกเสมือนจริงแบบภาพถ่ายได้ไม่จำกัดด้วย procedural generation

 (github.com/princeton-vl)
2 คะแนน โดย GN⁺ 2024-12-24 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Infinigen เป็นโปรเจกต์ที่สร้างโลกแบบ photorealistic ด้วย procedural generation และมีคู่มือเริ่มต้นสำหรับฉากธรรมชาติ ฉากภายในอาคาร และแอสเซ็ตจำลองแบบมีข้อต่อ
  • หลังติดตั้ง ผู้ใช้สามารถเริ่มสร้างฉากห้อง ฉากธรรมชาติ และแอสเซ็ตแบบมีข้อต่อสำหรับ simulator ผ่าน flow ของ Infinigen-Indoors, Infinigen-Nature, และ Infinigen-Articulated ได้
  • งานวิจัยที่เกี่ยวข้องต่อเนื่องจากบทความ CVPR 2023 Infinite Photorealistic Worlds using Procedural Generation, บทความ CVPR 2024 Infinigen Indoors, และบทความ arXiv ปี 2025 Infinigen-Articulated
  • เอกสารครอบคลุมการติดตั้ง การตั้งค่ากล้อง การดาวน์โหลดข้อมูลที่สร้างไว้ล่วงหน้า การสร้างแอสเซ็ตรายชิ้น การ export เป็นรูปแบบไฟล์ภายนอก เช่น OBJ·OpenUSD การ export สำหรับ physics simulation และ extended ground-truth
  • แนวทางการมีส่วนร่วมแบ่งเป็นการส่งโค้ดให้ repository, การสนับสนุน procedural generator และการให้ข้อมูลที่สร้างไว้ล่วงหน้า พร้อมแนะนำเครื่องมือที่แปลง Blender Nodes เป็นโค้ด Python และขั้นตอนขอรับการช่วยเหลือผ่าน GitHub Issues

สิ่งที่ Infinigen สร้างได้

  • Infinigen เป็นโปรเจกต์ที่สร้างโลกแบบ photorealistic ด้วย procedural generation
  • flow สำหรับเริ่มต้นมีให้ 3 สาย
    • Hello Room: สร้างฉากภายในอาคารด้วย Infinigen-Indoors
    • Hello World: สร้างฉากธรรมชาติด้วย Infinigen-Nature
    • Infinigen-Articulated: มี flow สำหรับสร้างแอสเซ็ตจำลองแบบมีข้อต่อและ export ไปยัง simulator
  • โปรเจกต์มีทั้งเว็บไซต์ วิดีโอแนะนำ บทความวิจัย เอกสาร และคู่มือการมีส่วนร่วม

วิธีเริ่มต้นและตัวอย่าง

  • ก่อนอื่นต้องติดตั้งตาม Installation Instructions
  • เอกสารเริ่มต้นของ Infinigen-Indoors อยู่ใน HelloRoom.md
    • ภาพตัวอย่างแสดงฉาก Blender, ผลการ render, depth และ output ที่เกี่ยวข้องกับ object
  • เอกสารเริ่มต้นของ Infinigen-Nature อยู่ใน HelloWorld.md
    • output ตัวอย่างประกอบด้วยภาพ, depth, surface normal และ instance segmentation
  • flow เริ่มต้นของ Infinigen-Articulated อยู่ในเอกสาร Exporting to Simulators
    • ครอบคลุม use case สำหรับ export แอสเซ็ตแบบมีข้อต่อไปยัง simulator

บทความวิจัยที่เกี่ยวข้อง

ขอบเขตของเอกสาร

  • เอกสารไม่ได้ครอบคลุมแค่การติดตั้งและการสร้างฉากแรก แต่ยังรวม flow ด้าน configuration·camera·data·export
  • รายการเอกสารที่มีให้ประกอบด้วย
    • Installation Guide
    • “Hello World”: สร้างฉาก Infinigen-Nature แรก
    • “Hello Room”: สร้างฉาก Infinigen-Indoors แรก
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Exporting to external fileformats, เช่น OBJ, OpenUSD
    • Add external assets to indoor scenes
    • Extended ground-truth
    • Implementing new materials & assets
    • Generating fluid simulations
    • Exporting to physics simulation
  • roadmap ของโปรเจกต์มีให้ที่หน้า roadmap บนเว็บไซต์ Infinigen

การมีส่วนร่วมและขั้นตอนขอรับการช่วยเหลือ

  • แนวทางการมีส่วนร่วมแนะนำไว้ 3 แบบ
    • มีส่วนร่วมกับโค้ดใน repository: รับการมีส่วนร่วมด้านโค้ด และจะมี guide ที่ละเอียดขึ้นในภายหลัง
    • มีส่วนร่วมกับ procedural generator: infinigen/nodes/node_transpiler/dev_script.py มีเครื่องมือที่แปลง Blender Nodes ที่เป็นมิตรกับ artist ให้เป็นโค้ด Python
    • มีส่วนร่วมด้วยข้อมูลที่สร้างไว้ล่วงหน้า: ทุกคนสามารถใช้พลังประมวลผลสร้างข้อมูลและแชร์กับชุมชนได้ โดย repository สำหรับข้อมูลที่สร้างไว้ล่วงหน้าจะมีให้ในภายหลัง
  • หากต้องการความช่วยเหลือ แนะนำให้โพสต์ในหน้า GitHub Issues
  • เพื่อช่วย reproduce ปัญหา ควรรันคำสั่งด้วย --debug และใส่ข้อมูลต่อไปนี้
    • สภาพแวดล้อมการประมวลผล รวมถึงเวอร์ชัน OS, CPU, RAM, GPU และ driver
    • เวอร์ชันของโค้ดที่ใช้และลิงก์ commit hash รวมถึงระบุว่ามีการแก้ไขหรือไม่
    • คำสั่งที่รันแบบตรงทั้งหมด
    • output log
      • หากใช้ manage_jobs ให้หา log ได้ที่ outputs/MYJOB/MYSEED/logs/
      • หากมี Python error และ stacktrace ให้ส่งมาด้วย

โปรเจกต์พื้นฐานและการเปลี่ยนแปลง

  • Infinigen ระบุว่าโปรเจกต์นี้จะเกิดขึ้นไม่ได้หากไม่มีผลงานของ Blender Foundation และผู้มีส่วนร่วมโอเพนซอร์ส
  • โปรเจกต์ที่ถูกกล่าวถึงเป็นพิเศษว่าใช้งาน ได้แก่ Land-Lab, BlenderProc, Blender-FLIP-Fluids และ Blender-Differential-Growth
  • Thomas Kole อยู่ในรายชื่อผู้ที่ได้รับคำขอบคุณในฐานะผู้จัดหา procedural clouds
  • tutorial Blender ออนไลน์หลายรายการได้ให้ procedural generator สำหรับการทดลองช่วงแรก และถูกจัดเป็นแหล่งข้อมูลที่สร้างแรงบันดาลใจให้ implementation ใน official release
  • Infinigen เปลี่ยนแปลงไปอย่างมากหลังจากเวอร์ชันบทความ CVPR
    • ปัจจุบันมีโค้ด procedural บางส่วนที่ได้จากอินเทอร์เน็ตภายใต้ ไลเซนส์ CC-0
    • โค้ดดังกล่าวถูกระบุไว้ด้วย comment ในตำแหน่งที่ใช้งาน
    • เวอร์ชัน CVPR ไม่มีโค้ดลักษณะนั้น

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-12-24
ความคิดเห็นบน Hacker News

  • เป็นโปรเจกต์ที่เจ๋งมากจริง ๆ
    อยากถาม นักวิจัย ML/AI บน HN ว่า มีงานวิจัยไหนใช้สิ่งนี้ในการฝึกโมเดลไหม เช่น ฝึกหุ่นยนต์ในสภาพแวดล้อมเสมือน
    และก็อยากรู้ด้วยว่าทุกวันนี้ในวงการ ML/AI ใช้ ชุดข้อมูล แบบไหนสำหรับฝึกหุ่นยนต์

    • ตามวิดีโอระบุว่า “Infinigen เป็นการสร้างเชิงกระบวนการ 100% ใช้แต่กฎทางคณิตศาสตร์ ไม่มี AI เลย เป็นแค่กราฟิก”
      ไทม์สแตมป์: https://youtu.be/6tgspeI-GHY?t=107
    • คิดว่าเคยเห็นวิดีโอของ Nvidia Research ที่ใช้ สภาพแวดล้อมที่สร้างขึ้น เพื่อฝึกหุ่นยนต์และอย่างอื่น
      ตอนนี้คงหาไม่เจอทันที แต่ Omniverse ของ Nvidia เป็นหนึ่งในองค์ประกอบสำคัญ

  • อันนี้เคยขึ้นมาก่อนแล้วไม่ใช่เหรอ? เจ๋งก็จริง แต่เท่าที่รู้เป็นโปรเจกต์ที่มีมาหลายปีแล้ว อยากรู้ว่ามี อัปเดต อะไรหรือเปล่า

  • ฉากในอาคารดูสมจริงอย่างสมบูรณ์ แต่ฉากกลางแจ้งยังมีจุดที่น่าเสียดายอยู่มาก ยังห่างจาก ระดับล้ำหน้าสุด อยู่พอสมควร

    • ถ้าอย่างนั้น อะไรคือระดับล้ำหน้าสุดที่เป็น โอเพนซอร์ส ใช้เป็นไลบรารีได้ถ้าเป็นไปได้ และไม่ใช่ generative AI? ผมนึกถึงกรณีใช้งานด้านอินเทอร์แอ็กชัน/การพัฒนาเกม/เรียลไทม์
    • ยังตามหลัง No Man's Sky หลาย ๆ เวอร์ชันด้วยซ้ำ และยิ่งเป็นอย่างนั้นเมื่อเทียบกับผลงานบ้า ๆ มากมายที่คนฝั่ง LLM กำลังทำกันอยู่
    • แต่ต้องยอมรับว่าน้ำทะเลดีกว่าวิดีโอเกมไหน ๆ ในตอนนี้มาก ส่วนที่เหลือก็อย่างว่า
    • แล้วควรมองว่าอะไรคือระดับล้ำหน้าสุด?

  • ความจริงที่ว่าสิ่งแบบนี้เป็นไปได้ให้ความรู้สึกว่ามันบอกอะไรบางอย่างเกี่ยวกับจักรวาล บางทีสภาพแวดล้อมอาจไม่ได้มี ปริมาณข้อมูล มากเท่าที่เราคิด
    สิ่งนี้อาจอธิบาย ประสิทธิภาพสูงอย่างไม่สมเหตุสมผล ที่สมอง โดยเฉพาะสมองเล็ก ๆ ของสัตว์ แสดงให้เห็นในการสร้างโมเดลของโลกและทำงานอยู่ในโลกนั้นได้

    • นั่นเป็นวิธีมองจักรวาลแบบผิวเผินมาก
      การมีอยู่ไม่ได้ถูกจำกัดอยู่แค่ว่าถูกสังเกตเห็นหรือไม่ สมองวิวัฒนาการมาเพื่อรวบรวมเฉพาะข้อมูลขั้นต่ำที่จำเป็นต่อการทำให้สิ่งมีชีวิตอยู่รอดในสภาพแวดล้อมหนึ่ง ๆ แต่แม้ในสิ่งที่เรารับรู้ได้ จักรวาลก็ยังมีความซับซ้อนจนวัดไม่ได้
      ในการสร้างโมเดล 3D รายละเอียดแบบนั้นไม่สำคัญ จึงสามารถเข้าใกล้ความสมจริงเหมือนภาพถ่ายได้ การเรนเดอร์ดูดีพอที่จะหลอกสมองให้รู้สึกเหมือนกำลังเห็นวัตถุในโลกจริง แต่เป็นเพียงการประมาณด้านภาพที่ดีเท่านั้น ไม่ใช่การแทนวัตถุจริงอย่างถูกต้องเลย ทรัพยากรคำนวณยังไม่พออย่างมากสำหรับระดับนั้น
      การที่เราเพิ่งสามารถ จำลองแบบเรียลไทม์ ว่าแสงทำงานอย่างไรในโลกจริงก็เป็นเรื่องที่เพิ่งเกิดขึ้นไม่นาน และถึงอย่างนั้นก็ยังเป็นการประมาณอยู่ดี อย่างไรก็ดี Infinigen ดูเป็นผลิตภัณฑ์ที่เจ๋ง และก็ดีที่ได้เห็น การจำลองแบบคลาสสิก แทนที่จะเป็น AI หลังจากไม่ได้เห็นมานาน
    • ถ้า “ความจริงที่ว่าสิ่งแบบนี้เป็นไปได้บอกอะไรบางอย่างเกี่ยวกับจักรวาล” อย่างนั้นโมเดลตัวละครใน Final Fantasy 7 ก็คงบอกอะไรบางอย่างเกี่ยวกับ ระบบต่อมไร้ท่อ ของมนุษย์เหมือนกัน
      ประมาณว่า Aeris ถูกอ่านได้ชัดว่าเป็นมนุษย์แม้จะไม่เห็นต่อมหมวกไต ดังนั้นในความเป็นจริงมนุษย์อาจไม่มีต่อมหมวกไตก็ได้
    • “แผนที่ไม่ใช่อาณาเขต”
    • “ยังมีพื้นที่อีกมากอยู่ข้างล่าง”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • ผมคิดว่ามันแสดงให้เห็นเรื่อง สมองมนุษย์ มากกว่าจักรวาล บอกให้รู้ว่าการรับรู้ของเราถูกหลอกได้ง่ายแค่ไหน

  • ดูจาก README อย่างเดียวแล้วยังไม่ชัดว่า อนันต์ ในที่นี้หมายถึงสามารถสร้างรูปแบบแปรผันได้ไม่จำกัดของฉากหนึ่งฉาก หรือหมายถึงสร้างโลกที่ไม่มีที่สิ้นสุดกันแน่

  • โพสต์ก่อนหน้า: https://news.ycombinator.com/item?id=36373494

  • เวลาถูกแชร์ คำอธิบายเมตาแท็ก ดูเหมือนยังเป็นข้อความ placeholder อยู่ ควรอัปเดต

  • ในรายชื่อผู้เขียนเห็นมหาวิทยาลัยหลัก ๆ ของจีนหลายแห่ง มองเผิน ๆ นี่ไม่ได้หมายถึงการละเมิด มาตรการคว่ำบาตรชิป/กฎส่งออก เหรอ?

    • ในบทความระบุว่าผู้เขียนร่วมทำงานวิจัยนี้ตอนที่สังกัด Princeton

  • อินโทรแบบ Matrix ไม่ได้ละเอียดอ่อนเลย