Google SIMA - เอเจนต์ Generative AI สำหรับสภาพแวดล้อมเสมือน 3 มิติ

 (deepmind.google)
8 คะแนน โดย GN⁺ 2024-03-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • DeepMind เปิดตัว Scalable Instructable Multiworld Agent (SIMA)
      • Google DeepMind มีประวัติอันยาวนานในด้าน AI และเกม ตั้งแต่เกม Atari ไปจนถึงระบบ AlphaStar ที่เล่น StarCraft II ได้ในระดับแกรนด์มาสเตอร์ของมนุษย์
  • SIMA เป็นเอเจนต์ AI แบบทั่วไปสำหรับสภาพแวดล้อมเสมือน 3 มิติ ที่สามารถทำตามคำสั่งภาษาธรรมชาติในสภาพแวดล้อมวิดีโอเกมที่หลากหลายได้
  • งานวิจัยครั้งนี้มีเป้าหมายเพื่อเปลี่ยนจากการมุ่งเน้นที่เกมเฉพาะเกม ไปสู่เอเจนต์ AI สำหรับการเล่นเกมแบบทั่วไปที่สามารถสั่งการได้
  • ได้รับการฝึกบนวิดีโอเกมหลายเกมผ่านความร่วมมือกับนักพัฒนาเกมหลากหลายราย
  • แสดงให้เห็นเป็นครั้งแรกว่าเอเจนต์ AI สามารถเข้าใจโลกของเกมที่กว้างขวาง และทำงานภายในนั้นตามคำสั่งภาษาธรรมชาติได้

เรียนรู้จากวิดีโอเกม

  • SIMA ถูกฝึกและทดสอบบนวิดีโอเกมที่หลากหลาย 9 เกม รวมถึง No Man’s Sky ของ Hello Games และ Teardown ของ Tuxedo Labs
  • เพื่อให้ได้สัมผัสกับสภาพแวดล้อมที่หลากหลาย DeepMind จึงร่วมมือกับนักพัฒนาเกมและจับมือเป็นพาร์ตเนอร์กับสตูดิโอเกม 8 แห่ง
  • SIMA เรียนรู้ทักษะที่หลากหลาย ตั้งแต่การสำรวจแบบง่าย การใช้เมนู ไปจนถึงการขุดทรัพยากร การบังคับยานอวกาศ และการสร้างหมวกกันน็อก
  • ยังถูกใช้งานในสภาพแวดล้อมเพื่อการวิจัย 4 แห่ง รวมถึง Construction Lab ซึ่งเป็นสภาพแวดล้อมใหม่ที่สร้างด้วย Unity

SIMA: เอเจนต์ AI อเนกประสงค์

  • SIMA เป็นเอเจนต์ AI ที่สามารถรับรู้และเข้าใจสภาพแวดล้อมที่หลากหลาย จากนั้นลงมือทำเพื่อบรรลุเป้าหมายที่ได้รับคำสั่ง
  • ประกอบด้วยโมเดลสำหรับการแมปภาพกับภาษาอย่างแม่นยำ และโมเดลวิดีโอที่ทำนายสิ่งที่จะเกิดขึ้นต่อไปบนหน้าจอ
  • ไม่จำเป็นต้องเข้าถึงซอร์สโค้ดของเกมหรือ API เฉพาะใด ๆ โดยต้องการเพียงภาพจากหน้าจอและคำสั่งภาษาธรรมชาติแบบสั้น ๆ จากผู้ใช้
  • SIMA ใช้เอาต์พุตจากคีย์บอร์ดและเมาส์เพื่อควบคุมตัวละครหลักของเกมและทำตามคำสั่งเหล่านี้

การทำให้ใช้งานได้ทั่วไปในเกมและสภาพแวดล้อมอื่น ๆ

  • เอเจนต์ที่ฝึกจากหลายเกมแสดงประสิทธิภาพได้ดีกว่าเอเจนต์ที่ฝึกจากเกมเดียว
  • ยังต้องมีการวิจัยเพิ่มเติมเพื่อให้สามารถแสดงประสิทธิภาพระดับมนุษย์ได้ ทั้งในสภาพแวดล้อมที่เคยฝึกและสภาพแวดล้อมที่ไม่เคยเห็นมาก่อน
  • ประสิทธิภาพของ SIMA ขึ้นอยู่กับภาษา และหากไม่มีการฝึกด้านภาษาหรือไม่มีคำสั่ง มันจะยังพอทำงานได้แต่ไร้เป้าหมาย

ความก้าวหน้าในการวิจัยเอเจนต์ AI

  • ผลลัพธ์ของ SIMA แสดงให้เห็นถึงศักยภาพของการพัฒนาเอเจนต์ AI แบบทั่วไปที่อิงกับภาษา
  • นี่เป็นงานวิจัยระยะเริ่มต้น และคาดว่าจะพัฒนา SIMA ให้ก้าวหน้าขึ้นด้วยการรวมสภาพแวดล้อมการฝึกที่มากขึ้นและโมเดลที่มีความสามารถมากขึ้น
  • เป้าหมายสุดท้ายคือการสร้างระบบและเอเจนต์ AI แบบทั่วไปที่สามารถเข้าใจและปฏิบัติงานที่หลากหลายได้อย่างปลอดภัย เพื่อเป็นประโยชน์ต่อผู้คนทั้งในโลกออนไลน์และโลกจริง

ความเห็นของ GN⁺

  • SIMA เป็นงานวิจัยสำคัญที่แสดงให้เห็นความสามารถของ AI ในการเข้าใจคำสั่งและลงมือทำได้เหมือนมนุษย์ในสภาพแวดล้อมที่หลากหลาย
  • งานวิจัยลักษณะนี้อาจเปิดทางสู่อนาคตที่ AI ไม่ได้แค่ทำงานง่าย ๆ แต่สามารถทำการวางแผนเชิงกลยุทธ์ที่ซับซ้อนและทำงานหลายอย่างพร้อมกันได้
  • อย่างไรก็ตาม AI ยังต้องการการวิจัยและพัฒนาอีกมากกว่าจะไปถึงระดับประสิทธิภาพของมนุษย์
  • จำเป็นต้องมีการถกเถียงว่าเทคโนโลยีนี้จะนำไปใช้แก้ปัญหาในโลกจริงได้อย่างไร และความสามารถในการทำให้ใช้งานได้ทั่วไปของ AI อาจมีข้อจำกัดอะไรบ้าง
  • โครงการ AI อื่นที่มีความสามารถคล้ายกันคือ OpenAI Gym ซึ่งเป็นแพลตฟอร์ม AI ที่สามารถเรียนรู้จากวิดีโอเกมหลากหลายประเภทได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-03-14

ความเห็นจาก Hacker News

  • ลืมไม่ลงเลยตอนที่ OpenAI เปิดตัวระบบที่สามารถสู้กับผู้เล่น Dota ระดับโปรใน TI7 ได้ Dota เป็นเกมที่ซับซ้อนและยากมาก ประสบการณ์นั้นทำให้เส้นทางอาชีพของฉันเปลี่ยนไปอย่างมาก
  • หวังว่านักพัฒนาจะใช้เทคโนโลยีนี้เพื่อทำให้ NPC มีชีวิตชีวามากขึ้น คำสัญญาเรื่อง NPC ที่ใช้ชีวิตอย่างอิสระในหลาย ๆ เกม RPG ไม่เคยนำไปสู่ผลลัพธ์ที่เห็นได้ชัดจริง ๆ แต่ด้วย AI ตอนนี้เราอาจจะเข้าใกล้จุดนั้นแล้วก็ได้
  • การใช้บอตใน MMORPG ซึ่งเป็นปัญหาร้ายแรงอยู่แล้ว กำลังบิดเบือนเศรษฐกิจในเกมและทำให้ประสบการณ์การเล่นของทุกคนแย่ลง เกมแมวจับหนูเพื่อหยุดพวกฟาร์มทองเหล่านี้จะยิ่งยากขึ้นมาก
  • นิยายวิทยาศาสตร์ที่ว่าโลกาวินาศจากหุ่นยนต์จะกลายเป็นความจริง ไม่ใช่นิยายวิทยาศาสตร์อีกต่อไปแล้ว เพราะเกมรุนแรงที่ "น่าสนใจ" มีต้นทุนถูกกว่าและมีความหลากหลายมากกว่าซิมูเลเตอร์โลกความจริงที่น่าเบื่อมาก
  • การใช้งานในฐานะเครื่องมือ CI สำหรับการพัฒนาเกมก็น่าสนใจ นอกจาก UI แล้ว ยังทดสอบแบบ end-to-end playthrough เพื่อตรวจสอบงานเขียนและลำดับการเล่นของเกมได้ด้วย ฉันนึกภาพการได้รับรายงานอย่าง "เวลาที่ใช้ในการตัดต้นไม้ต้นแรก: +20%"
  • เทคโนโลยีนี้ + เทคโนโลยี Vtuber + แชตบอตที่โต้ตอบกับผู้ชม + เทคโนโลยีแปลงเสียง == ระบบอัตโนมัติสำหรับอินฟลูเอนเซอร์สายเกม
  • ฉันสงสัยว่าเมื่อเทียบกับ AlphaStar ของ DeepMind ใน StarCraft II แล้ว SIMA จะทำได้ดีแค่ไหน ถ้าฉันออกคำสั่งระดับสูงแล้วให้ SIMA ไปลงมือทำ จะเป็นอย่างไร จากนั้นก็เกิดความรู้สึกไม่ค่อยดีว่าเกมสงครามประเภทนี้อาจถูกนำไปทดสอบอยู่แล้วก็ได้ น่าจะต้องมีมาตรการความปลอดภัยแบบย้อนกลับด้วย เพื่อให้ AI ตั้งข้อกังวลและขอการยืนยันก่อนจะดำเนินการตามคำขอบางอย่าง
  • ทำให้นึกถึง Ender’s Game ที่พวกเขาหลอกเด็กคนหนึ่งให้คิดว่ากำลังเล่นเกมคอมพิวเตอร์อยู่ ทั้งที่จริงกำลังทำให้เผ่าพันธุ์เอเลียนสูญพันธุ์
  • มุก "GeForce GTX G-Assist" ของ Nvidia เมื่อเดือนเมษายน 2017 อาจกลายเป็นจริงในไม่ช้านี้
  • แปลกใจที่ยังใช้ Transformer-XL มาตั้งแต่ปี 2019 ไม่รู้มาก่อนว่ายังมีคนใช้สถาปัตยกรรมแบบเดียวกับ XLNet อยู่