จักรวาลใน Transformer, Oasis
(oasis-model.github.io)- หากวิดีโอแบบ generative แบบเรียลไทม์ต้องตอบสนองต่ออินพุตเหมือนเกม ความเร็วในการสร้างเฟรมคือหัวใจสำคัญ และ Oasis ถูกเปิดตัวโดยมีเป้าหมายเป็นโลก AI แบบโต้ตอบได้ที่ 20fps
- Decart และ Etched สาธิตประสบการณ์โลกเปิดที่สร้างฟิสิกส์ กฎ และกราฟิกออกมาเป็นผลลัพธ์จาก foundation model แทนที่จะใช้เอนจินแยกต่างหาก
- สิ่งที่เปิดเผยประกอบด้วยเดโมสด โค้ด น้ำหนักโมเดล 500M พารามิเตอร์ ที่รันในเครื่องได้ และเดโมที่อิงกับ checkpoint ขนาดใหญ่กว่า
- โครงสร้างเป็น spatial autoencoder ที่ใช้ Transformer และ backbone แบบ latent diffusion โดยสร้างเฟรมแบบ autoregressive ตามอินพุตของผู้ใช้
- ความพร่ามัวในระยะไกล ความสอดคล้องของวัตถุตามเวลา การ generalize ข้ามโดเมน การควบคุม inventory และการจัดการ context ยาว ๆ ยังเป็นข้อจำกัดที่เหลืออยู่ และต้องขยายโมเดล/ชุดข้อมูลพร้อมปรับปรุงการ inference
โลก AI ที่ตอบสนองต่ออินพุต
- Oasis คือ โมเดล AI โลกเปิดแบบเรียลไทม์ ที่ Decart และ Etched ประกาศ
- รับ อินพุตจากคีย์บอร์ด ของผู้ใช้เพื่อสร้างประสบการณ์โต้ตอบได้ เช่น การเคลื่อนที่ การกระโดด การเก็บไอเท็ม และการทำลายบล็อก
- แม้แต่ฟิสิกส์ กฎ และกราฟิกก็รวมอยู่ในผลลัพธ์ของโมเดล โดยสร้างประสบการณ์ด้วย foundation model เพียงอย่างเดียวโดยไม่มี physics engine แยกต่างหาก
- ทรัพยากรที่เผยแพร่มีดังนี้
- Try demo: เดโมสด
- View code: โค้ด
- Model weights: น้ำหนักโมเดล 500M พารามิเตอร์ที่รันในเครื่องได้
- Decart Blog, Etched Blog: คำอธิบายทางเทคนิค
- ตัวอย่างผลลัพธ์รวมถึงการก่อสร้าง ฟิสิกส์ของแสง การจัดการ inventory ความเข้าใจวัตถุ การโต้ตอบกับสัตว์ การฟื้นพลังเมื่อกินอาหาร และการที่พลั่วทำงานได้เร็วกว่ามือ
- สภาพแวดล้อมที่สร้างได้รวมถึงสถานที่มืดคล้ายอวกาศ ฉากกลางคืน การจัดวางวัตถุหลากหลาย การเปิดกล่อง inventory สัตว์ และตัวละคร
- ยังสามารถขยายไปสู่การควบคุมประสบการณ์ด้วยข้อความ เสียง และ modality อื่น ๆ ได้ด้วย
โครงสร้าง Transformer และการ inference แบบเรียลไทม์
- โมเดลประกอบด้วย spatial autoencoder และ latent diffusion backbone
- องค์ประกอบทั้งสองใช้ Transformer
- autoencoder ใช้ ViT และ backbone ใช้ DiT
- เหตุผลที่เลือก Transformer แทน world model แบบมี action เป็นเงื่อนไขอย่าง GameNGen และ DIAMOND คือการ scaling ที่เสถียรและคาดการณ์ได้ รวมถึงการ inference ที่รวดเร็วบน Transformer ASIC Sohu ของ Etched
- ต่างจากโมเดลสองทิศทางอย่าง Sora, Oasis สร้างเฟรมแบบ autoregressive
- สามารถทำให้แต่ละเฟรมมีเงื่อนไขตามอินพุตของผู้ใช้ จึงรองรับการโต้ตอบแบบเรียลไทม์ได้
- ในการฝึกใช้ Diffusion Forcing ซึ่งทำ denoise ด้วยระดับ noise ที่เป็นอิสระต่อแต่ละ token
- เสถียรภาพตามเวลา ที่ทำให้ผลลัพธ์คงความเป็นธรรมชาติได้นานเป็นความท้าทายหลัก
- ในโมเดล autoregressive ข้อผิดพลาดจะสะสม และข้อบกพร่องเล็ก ๆ อาจขยายเป็นเฟรมที่ glitch ได้
- เพื่อลดปัญหานี้ ใช้ dynamic noising ซึ่งปรับ noise ตามตารางเวลาในระหว่าง inference
- ใน diffusion forward pass ช่วงแรกจะฉีด noise เพื่อลดการสะสมของข้อผิดพลาด และใน pass ถัด ๆ ไปจะค่อย ๆ ลด noise เพื่อรักษารายละเอียดความถี่สูงของเฟรมก่อนหน้า
ประสิทธิภาพ 20fps และคอขวดด้านฮาร์ดแวร์
- Oasis สร้างผลลัพธ์แบบเรียลไทม์ที่ 20fps
- โมเดล text-to-video ที่มีโครงสร้าง DiT คล้ายกันอย่าง Sora, Mochi-1 และ Runway อาจใช้เวลา 10–20 วินาทีในการสร้างวิดีโอ 1 วินาที แม้ใช้ GPU หลายตัว
- การโต้ตอบแบบเรียลไทม์ต้องสร้างเฟรมใหม่ทุก 0.04 วินาที ซึ่งเร็วกว่าเดิมมากกว่า 100 เท่า
- inference stack ของ Decart ทำให้รันด้วยเฟรมเรตสดได้
- การรันที่เร็วขึ้นและคุ้มค่าต้นทุนในสเกลใหญ่ต้องใช้ฮาร์ดแวร์ใหม่
- Oasis ถูกปรับให้เหมาะกับ Transformer ASIC Sohu ของ Etched
- Sohu สามารถขยายไปถึงโมเดลรุ่นถัดไปขนาด 100B+ ที่ความละเอียด 4K ได้
- โครงสร้าง Transformer แบบ end-to-end ของ Oasis มีประสิทธิภาพบน Sohu และสามารถรองรับผู้ใช้ได้มากกว่า 10 เท่าแม้ในโมเดล 100B+ พารามิเตอร์
ข้อจำกัดที่ยังเหลืออยู่
- ความพร่ามัวของภาพในระยะไกล ความสอดคล้องตามเวลา ของวัตถุที่ไม่แน่นอน การ generalize ข้ามโดเมน การควบคุม inventory อย่างแม่นยำ การควบคุมวัตถุอย่างแม่นยำ และหน่วยความจำที่จำกัดในช่วงเวลายาว ๆ ยังเป็นข้อจำกัดอยู่
- หลังจากวิเคราะห์ความไวต่อองค์ประกอบของสถาปัตยกรรม ข้อมูล และขนาดโมเดล จึงตั้งสมมติฐานว่าปัญหาหลายอย่างอาจแก้ได้ด้วยการขยายโมเดลและชุดข้อมูล
- แม้จะพัฒนาโมเดลที่ใหญ่ขึ้น ก็ยังต้องใช้ เทคโนโลยี inference ใหม่เพื่อรักษาสมดุลระหว่าง latency และต้นทุน
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ถ้าเป็นการ กำลังฝันอยู่ใน Minecraft ก็คงให้ความรู้สึกประมาณนี้
เพราะการคงอยู่ของวัตถุยังไม่พอ เลยให้ความรู้สึกเหมือนฝันจริง ๆ ระดับแสงก็น่าสนใจ ถ้ามองที่มืดนาน ๆ หรือเข้าไป “ใต้น้ำ” จนหน้าจอกลายเป็นสีดำ ก็ยากที่จะกลับไปเป็นสถานะอื่นที่ไม่ใช่จอดำ ในการลองเล่นครั้งหนึ่งผมทำไม่สำเร็จ เป็นความรู้สึกที่ค่อนข้างแปลก
ไม่ค่อยแน่ใจว่าจะ ออกแบบและวางจำหน่ายเกม ด้วยวิธีแบบนี้ได้อย่างไร เราไม่สามารถตั้งค่าน้ำหนักของโมเดลโดยตรงเพื่อออกแบบเกมได้
สักวันหนึ่งอาจจำลองเกมได้โดยไม่มีส่วนที่ขาดหายอย่างการคงอยู่ของวัตถุหรือสถานะระยะยาว แต่ต้นทุนในการรันเอนจินอนุมานน่าจะสูงกว่าเอนจินเกมที่มันเลียนแบบอยู่มาก ในฐานะคนที่ทำ AI มานาน ผมสงสัยจริง ๆ ว่าเทคโนโลยีนี้จะมีประโยชน์ตรงไหน
เห็นด้วยว่าเครื่องมือเหล่านี้จะมีประโยชน์มหาศาลก็ต่อเมื่อมีวิธีที่ดีให้ผู้สร้าง “พัฒนา” โลกหรือเกมใหม่บนระบบนี้ และให้ผู้ใช้โต้ตอบกับโลกนั้นได้ ท้ายที่สุดต้องมี “API” แบบเดียวกับเอนจินเกม ผู้สร้างสร้างโลก และผู้ใช้โต้ตอบกับโลกนั้น ถ้า AI ทำบทบาทนี้ได้จริง ๆ ก็จะ 1) ทำให้การสร้างโลกและเกมง่ายขึ้นมาก แค่พูดว่า “เพิ่มช้างสีชมพูบินได้ตรงนี้” และ 2) ทำให้เกิด โลกที่ไร้ขีดจำกัด ได้จริง เพราะผู้ใช้โต้ตอบกับโลกที่เปลี่ยนแปลงตามแต่ละเซสชันการเล่นได้ ถ้าถามว่าถึงจุดนั้นหรือยัง แน่นอนว่ายัง Oasis v1 เป็นแค่การพิสูจน์แนวคิดครั้งแรก รอดู v2 อีกสักหน่อยก็พอ ;)
แต่ในแง่ “การออกแบบ” ก็มองเห็นได้ไม่ยากว่าการทำต้นแบบเกมอย่างรวดเร็วจะมีประโยชน์แค่ไหน แม้จะใช้ GPU อย่างหนักก็ตาม งานวิจัยแบบนี้เป็นเพียงก้าวย่างไปในทิศทางนั้น
ถ้าเป็น AI ที่สร้างอินพุตให้เรนเดอเรอร์หรือเอนจินจริง ๆ ก็น่าจะแก้ปัญหาความเที่ยงตรงของภาพได้
รวมหลายโมเดลเข้าด้วยกัน แล้วหยิบชิ้นส่วนจาก “โมเดลโลก” ของแต่ละเกมมาผสม ก็แทบจะเหมือนสร้างเกมใหม่เกือบทั้งหมด ส่วนที่ยังขาดอย่างการคงอยู่ของวัตถุหรือสถานะระยะยาว ก็เพิ่มด้วยชุดตัวแปรที่เล็กกว่ามากได้อยู่แล้ว ในเมื่อตอนนี้ใส่ทั้งเฟรมก่อนหน้าทั้งหมดและอินพุตผู้ใช้ลงในน้ำหนักอยู่แล้ว ก็ไม่เห็นเหตุผลว่าทำไมจะใส่สถานะเกมแบบย่อเข้าไปด้วยไม่ได้
บอกว่าเป็น “วิดีโอเกมที่สร้างโดย AI ทั้งหมด” แต่พอใช้ Ctrl-F หาในหน้าเว็บ คำว่า Minecraft โผล่ 0 ครั้ง ไม่รู้เหมือนกันว่าทำไม
นี่ไม่ใช่วิดีโอเกม แต่เป็นสำเนาหยาบ ๆ ของวิดีโอเกมจริง และไม่ได้แม้แต่พยายามเอ่ยชื่อหรือให้เครดิต
ที่พูดคำว่า “Minecraft” ไม่ได้เพราะเป็นเครื่องหมายการค้าของ Microsoft แต่ดูเหมือนจะคิดว่าการใช้ภาพ Minecraft เป็นข้อมูลฝึกนั้นทำได้ เพราะทุกคน รวมถึง Microsoft เอง ก็ใช้ข้อมูลที่มีกรรมสิทธิ์ไปฝึกโมเดล diffusion กันอยู่แล้ว ปัญหาคือผลลัพธ์ดูคล้าย Minecraft อย่างชัดเจน แต่ Microsoft เองก็มีปัญหาที่ Bing และ DALL-E สร้างภาพที่ดูคล้ายสิ่งมีเครื่องหมายการค้าอย่างชัดเจน แม้จะมีมาตรการป้องกันก็ตาม
ไม่รู้ว่าส่วนนั้นถูกเพิ่มหลังคอมเมนต์ต้นทางหรือเปล่า
ถ้างานทางวิทยาศาสตร์ใช้ผลงานบางอย่างแต่ไม่ให้เครดิต นั่นคือ ความไม่ซื่อสัตย์ทางวิชาการ ต่อให้ฝึกด้วยชุดข้อมูลอื่นได้ก็ตาม แต่ไม่ว่าจะใช้แหล่งใดก็ควรอ้างอิง
เจ๋งมาก และดีที่ได้เห็นโมเดลแบบนี้พัฒนาเร็วอย่างต่อเนื่อง แต่ก็สงสัยว่า สถานะระยะยาว จะทำงานอย่างไร
เช่น การสร้างฐานแล้วกลับมาภายหลัง กฎเกมที่บังคับด้วยโค้ดแบบดั้งเดิม มัลติเพลเยอร์ การโหลดเกมที่บันทึกไว้ สถานะที่ถูกชักนำแบบนี้จะจัดการอย่างไร โดยพื้นฐานแล้วสถานะภายนอกกับหน่วยความจำ/การจำลองเป็นคนละเรื่องกัน ดังนั้นไม่น่าจะใช่แค่การขยาย context window หรือทำโมเดลให้ใหญ่ขึ้นอย่างเดียว แน่นอนว่ามันช่วยได้อยู่แล้ว ไม่ว่าอย่างไร โมเดลแบบนี้น่าจะถูกใช้กับการจินตนาการงานที่มีเป้าหมายในไม่ช้า เช่น เอเจนต์ที่ต้องหารูปภาพบางรูปในคอมพิวเตอร์ แล้วจินตนาการเส้นทางระหว่างสถานะที่เห็นอยู่กับสถานะที่ต้องการอย่างต่อเนื่อง โมเดลนี้รับอินพุตจากผู้ใช้ แต่เอเจนต์แบบนั้นจะจินตนาการอินพุตนั้นด้วย เท่าที่เข้าใจ ในเครือข่ายควบคุมหุ่นยนต์บางส่วนก็มีสิ่งคล้าย ๆ กันเกิดขึ้นแล้วโดยไม่ใช้พิกเซล
พอหมุนไปไม่กี่รอบ รายละเอียดก็หายไป แล้วเหลืออยู่กลางทะเลโล่ง ๆ ด้วยเทคโนโลยีนี้ ดูเหมือนไม่มีทางสร้างเวอร์ชันที่เล่นได้ของ Mario ได้เลย นับประสาอะไรกับ Minecraft
นี่ไม่ใช่วิดีโอเกม แต่ใกล้เคียงกับ ซิมูเลเตอร์สกรีนช็อต Minecraft แบบเร็ว ที่พรอมป์ต์ระหว่างแต่ละเฟรมคือสถานะอินพุตและเฟรมก่อนหน้า
มันมีอะไรบางอย่างที่คล้ายความสอดคล้องอยู่บ้าง
โดยพื้นฐานแล้วคือการฝึกโมเดลด้วย Minecraft ไม่ได้ ทั่วไป เลย
เกมไม่ได้ออกมาจากพรอมป์ต์ แต่น่าจะมาจากชุดข้อมูลจำนวนมากจากการเล่น Minecraft และการ fine-tuning อยากเห็นงานแบบที่โลกหรือเกมออกมาจากพรอมป์ต์จริง ๆ
อ้อ ผมอยู่ทีม Oasis
ถ้าให้ผู้ใช้ วาดลงบนเฟรมบัฟเฟอร์ได้โดยตรง ระหว่างเล่น แล้วป้อนสิ่งนั้นกลับเข้าไป น่าจะได้อะไรที่น่าสนใจทีเดียว
คิวยาวเกินไปเลยยอมแพ้ สงสัยว่าตัวโมเดลสร้างพิกเซลเอง หรือสร้างแค่สภาพแวดล้อมแล้วเรนเดอร์ด้วยวิธี “ดั้งเดิม”
ถ้าถามว่าทำไมน่าสนใจ สำหรับวันนี้มันอาจยังไม่น่าสนใจนัก Oasis v1 เป็นแค่การพิสูจน์แนวคิด แต่ถ้าคิดถึงอนาคต ซึ่งก็คือ Oasis รุ่นถัด ๆ ไปที่จะออกมาในอีกไม่กี่เดือนข้างหน้า ลองจินตนาการว่าสิ่งที่คุณเห็นทุกพิกเซลถูกสร้างขึ้น รวมถึงพิกเซลที่คุณกำลังมองเห็นขณะอ่านข้อความนี้ด้วย นี่คืออินเทอร์เฟซใหม่ในการสื่อสารระหว่างมนุษย์กับเครื่องจักร ถ้าเหตุผลที่ LLM น่าสนใจในแชตคือมันทำให้มนุษย์กับเครื่องจักรโต้ตอบกันด้วยบทสนทนา ซึ่งเป็นวิธีที่มนุษย์คุ้นเคย ที่นี่คอมพิวเตอร์ก็จะมองโลกในแบบที่เรามองเห็น และแสดงกลับมาให้เราในแบบที่เราคุ้นเคยได้ สรุปคือ ลองนึกภาพว่าบอกคอมพิวเตอร์ว่า “สร้างช้างสีชมพู” แล้วมันปรากฏขึ้นทันทีในเกมที่กำลังเล่นอยู่
อาจต้องฝึกโมเดลด้วยเกม Mario เพื่อให้ Nintendo ได้ต่อสู้เพื่อ “เหตุผลอันชอบธรรม”