จักรวาลใน Transformer, Oasis

Oasis: จักรวาลใน Transformer

• แนะนำ Oasis

  • Oasis คือวิดีโอเกมโอเพนเวิลด์แบบเรียลไทม์ที่สร้างโดย AI
  • รับอินพุตจากคีย์บอร์ดของผู้ใช้ แล้วสร้างฟิสิกส์ กฎของเกม และกราฟิกแบบเรียลไทม์
  • ทำงานได้ด้วยโมเดลพื้นฐานเพียงอย่างเดียวโดยไม่ต้องใช้เกมเอนจิน
  • แสดงให้เห็นว่าวิดีโอแบบเรียลไทม์เป็นไปได้ด้วยการใช้เอนจินอนุมานของ Decart

• ผลลัพธ์ของเกมเพลย์

  • Oasis เข้าใจกลไกของเกมที่ซับซ้อน
  • มีความสามารถในการสร้างการตั้งค่าที่หลากหลาย สถานที่ และวัตถุต่าง ๆ
  • สามารถทำสิ่งต่าง ๆ ภายในเกมได้ เช่น การก่อสร้าง ระบบฟิสิกส์ของแสง และการจัดการอินเวนทอรี

• สถาปัตยกรรม

  • โมเดลประกอบด้วย spatial autoencoder และ latent diffusion backbone
  • เป็นสถาปัตยกรรมที่อิง Transformer โดยมีพื้นฐานจาก ViT และ DiT
  • สร้างเฟรมแบบ autoregressive จึงรองรับการโต้ตอบแบบเรียลไทม์ได้

• ประสิทธิภาพ

  • Oasis สร้างเอาต์พุตแบบเรียลไทม์ที่ 20 เฟรมต่อวินาที
  • บรรลุอัตราเฟรมที่เล่นได้ผ่าน inference stack ของ Decart
  • ปรับแต่งให้เหมาะกับ Transformer ASIC ของ Etched, Sohu

• การสำรวจในอนาคต

  • ยังมีปัญหาที่สามารถแก้ได้ผ่านการขยายโมเดลและการขยายชุดข้อมูล
  • กำลังพัฒนาเทคนิคการปรับแต่งเพิ่มเติมเพื่อให้การฝึกขนาดใหญ่มีประสิทธิภาพ

สรุปโดย GN⁺

• Oasis เป็นเกมโอเพนเวิลด์แบบเรียลไทม์ที่สร้างโดย AI และแสดงให้เห็นเทคโนโลยีล้ำสมัยที่อิง Transformer
• จุดเด่นคือความเร็วในการอนุมานที่ทำให้เกิดการโต้ตอบแบบเรียลไทม์ได้
• เมื่อทำงานร่วมกับฮาร์ดแวร์ใหม่อย่าง Sohu ก็แสดงให้เห็นศักยภาพในการรองรับโมเดลขนาดใหญ่
• เทคโนโลยีนี้มีศักยภาพที่จะประยุกต์ใช้ได้ไม่ใช่แค่กับเกม แต่รวมถึงผลิตภัณฑ์สำหรับผู้บริโภคหลากหลายประเภท
• โปรเจกต์ที่มีความสามารถคล้ายกัน ได้แก่ Sora ของ OpenAI และ Mochi-1 ของ Genmo