Gemini Robotics 2 มอบปัญญาทั้งร่างให้กับหุ่นยนต์

 (deepmind.google)
1 คะแนน โดย GN⁺ 2 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Google DeepMind เปิดตัว ตระกูลโมเดล Gemini Robotics 2 ที่แปลงอินพุตภาพและภาษาเป็นการเคลื่อนไหว เพื่อควบคุมหุ่นยนต์ฮิวแมนนอยด์ตั้งแต่เท้าจรดปลายนิ้ว พร้อมรองรับการจัดการอย่างประณีตและการทำงานร่วมกันระหว่างหุ่นยนต์
  • ตระกูลโมเดลประกอบด้วย Gemini Robotics 2 ซึ่งเป็น VLA สำหรับควบคุมทั้งร่างกาย, Gemini Robotics ER 2 สำหรับวางแผนและกำกับงานระยะยาว, และ Gemini Robotics On-Device 2 ที่รันแบบโลคัลบนหุ่นยนต์
  • หุ่นยนต์ฮิวแมนนอยด์สามารถเชื่อมการเดิน การก้ม และการขนย้ายวัตถุเข้าด้วยกัน และใช้ มือห้านิ้ว 22 องศาอิสระ ผูกปมหรือปิดผนึกถุงซิปล็อก รวมถึงให้หุ่นยนต์หลายตัวร่วมมือกันในงานที่ยากต่อการทำโดยลำพัง
  • On-Device 2 ทำงานได้โดยไม่ต้องเชื่อมต่อเครือข่าย และโดยทั่วไปสามารถนำไปใช้กับหุ่นยนต์สองแขนตัวใหม่ที่มีรูปทรง เซนเซอร์ และองศาอิสระต่างกันมากได้ ด้วยตัวอย่าง น้อยกว่า 200 กรณี และการปรับตัวเพียงไม่กี่ชั่วโมง
  • ER 2 เปิดให้ใช้งานผ่าน Google AI Studio และ Gemini Enterprise Agent Platform ในรูปแบบพรีวิวแบบปิด ส่วนโมเดล VLA และ On-Device เปิดให้พาร์ตเนอร์กลุ่ม early access ใช้งาน แต่ ความเร็วการเคลื่อนที่และความแม่นยำ ยังต้องปรับปรุงต่อไป

โมเดลหุ่นยนต์สามแบบที่มีบทบาทต่างกัน

  • หุ่นยนต์แบบเดิมมักอาศัยการตั้งโปรแกรมลำดับงานแคบ ๆ ที่ทำซ้ำได้ล่วงหน้า หรือการควบคุมระยะไกล ทำให้ปรับตัวเองกับสภาพแวดล้อมที่คาดเดาได้ยาก หรือถ่ายทอดทักษะจากหุ่นยนต์หนึ่งไปสู่อีกรูปแบบหนึ่งได้ยาก
  • Gemini Robotics 2 คือ โมเดล vision-language-action (VLA) ที่แปลงอินพุตภาพและภาษาเป็นการควบคุมมอเตอร์
    • ควบคุมได้ทั้งหุ่นยนต์ฮิวแมนนอยด์ทั้งตัวและหุ่นยนต์สองแขน
    • รองรับการจัดการอย่างประณีตด้วยสองมือและ gripper
  • Gemini Robotics ER 2 คือ โมเดล embodied reasoning (ER) ที่ทำหน้าที่เป็นเอเจนต์ของหุ่นยนต์
    • สื่อสารกับมนุษย์และเข้าใจสภาพแวดล้อมทางกายภาพ
    • วางแผนงานหลายขั้นตอนที่ต่อเนื่องนานหลายนาที
    • รองรับการทำงานเป็นทีมของหุ่นยนต์หลายตัว
  • Gemini Robotics On-Device 2 คือ VLA ที่มีประสิทธิภาพและปรับให้เหมาะกับการรันแบบโลคัลบนอุปกรณ์หุ่นยนต์
    • สามารถปรับตัวเข้ากับรูปแบบหุ่นยนต์ใหม่ทั้งหมดได้ด้วยข้อมูลเพียงไม่กี่ชั่วโมง
  • ขอบเขตการเปิดให้ใช้งานของแต่ละโมเดลแตกต่างกัน

การควบคุมทั้งร่างของหุ่นยนต์ฮิวแมนนอยด์ที่ไปไกลกว่าช่วงลำตัวส่วนบน

  • หากโมเดลก่อนหน้านี้มุ่งเน้นการควบคุมช่วงลำตัวส่วนบนของหุ่นยนต์ฮิวแมนนอยด์สำหรับงานบนโต๊ะ Gemini Robotics 2 ได้ขยายขอบเขตไปสู่ การเคลื่อนไหวทั้งร่าง
  • Apptronik Apollo 2 สามารถทำตามคำสั่ง “ให้นำบัวรดน้ำไปใส่ในกล่องสีเขียวบนชั้นล่าง” ได้
    • เดินไปที่โต๊ะและหยิบบัวรดน้ำ
    • เคลื่อนที่ไปยังชั้นวางแล้ววางลงในตำแหน่งที่กำหนดอย่างแม่นยำ
  • มันเชื่อมการเดิน การก้ม การทรงตัว และการจัดการวัตถุเข้าด้วยกันเพื่อทำงานในพื้นที่แคบและรกได้ แต่ ความเร็วการเคลื่อนที่ ยังต้องพัฒนาอีก

การจัดการอย่างประณีตด้วยมือและ gripper

  • ควบคุมห้านิ้วและ 22 องศาอิสระของ มือ SharpaWave ที่ติดตั้งบน Apollo 2
    • ทำท่าทางละเอียดอ่อนอย่างการผูกปมได้
    • สามารถปิดผนึกถุงซิปล็อกได้
  • ยังจัดการงานซับซ้อนอย่างการแพ็กของแน่น ๆ ด้วย gripper แบบขนานสองนิ้วมาตรฐานของ Franka Duo
  • หากต้องการไปถึงระดับความคล่องแคล่วเทียบมนุษย์ ยังต้องเพิ่ม ความแม่นยำและความเร็ว ต่อไป

การให้เหตุผลกับงานระยะยาวและความร่วมมือของหุ่นยนต์หลายตัว

  • Gemini Robotics ER 2 ทำหน้าที่เป็นสมองระดับสูงของหุ่นยนต์สำหรับประมวลผลคำสั่งผู้ใช้และสื่อสารกับมนุษย์
    • สังเกตพื้นที่และอนุมานขั้นตอนที่จำเป็น
    • ประสานงานกับ VLA เพื่อทำการเคลื่อนไหวจริง
    • ติดตามความคืบหน้าจนกว่างานจะเสร็จ
  • เมื่อลงมือทำงานหลายขั้นตอนที่ซับซ้อนแล้วหากบางขั้นตอนล้มเหลว ก็สามารถ แก้ไขตัวเอง ได้ และยัง generalize ไปยังสถานการณ์และเป้าหมายใหม่ได้
  • ตัดสินใจหลายร้อยครั้งภายในงานเดียว และจัดการลำดับงานที่ยาวต่อเนื่องหลายนาทีได้เสถียรกว่าเดิม
  • เข้าใจจุดเริ่มต้นและจุดสิ้นสุดของงาน ระบุช่วงเวลาที่เกิดเหตุการณ์สำคัญ เพื่อใช้ติดตาม สถานะความคืบหน้า
  • หุ่นยนต์ต่างประเภทสามารถสื่อสารและร่วมมือกันเพื่อจัดการเวิร์กโฟลว์ที่ซับซ้อน ซึ่งยากจะทำได้ด้วยหุ่นยนต์เพียงตัวเดียว

ปรับตัวสู่รูปแบบหุ่นยนต์ใหม่ได้อย่างรวดเร็ว

  • Gemini Robotics On-Device 2 ทำงานแบบ รันโลคัล บนอุปกรณ์หุ่นยนต์ สำหรับสภาพแวดล้อมที่ต้องทำงานโดยไม่มี latency จากเครือข่ายหรือไม่มีการเชื่อมต่ออินเทอร์เน็ต
  • รองรับรูปแบบหุ่นยนต์หลายแบบตั้งแต่ต้น และสืบทอดเทคนิคการถ่ายโอนการเคลื่อนไหวจาก Gemini Robotics 1.5
  • โดยทั่วไปสามารถนำไปใช้กับหุ่นยนต์สองแขนตัวใหม่ได้ด้วยตัวอย่าง น้อยกว่า 200 กรณี และการปรับตัวเพียงไม่กี่ชั่วโมง
  • ปรับตัวได้แม้กับหุ่นยนต์ที่มีรูปลักษณ์ เซนเซอร์ และองศาอิสระแตกต่างกันมาก และทำงานได้หลากหลายบนแพลตฟอร์ม Dexmate, SO101 และ Trossen

ความปลอดภัยของหุ่นยนต์ที่รับมือได้แม้ความไม่แน่นอน

  • เมื่อความสามารถทางกายภาพของหุ่นยนต์สูงขึ้น ก็มีการใช้ แนวทางความปลอดภัยหลายชั้น ที่ผสานมาตรการความปลอดภัยทางกายภาพแบบดั้งเดิมเข้ากับเฟรมเวิร์กความปลอดภัยของ AI
  • ASIMOV-Agentic คือเบนช์มาร์กใหม่สำหรับประเมินการจัดแนวความปลอดภัยของเอเจนต์และการจัดการความไม่แน่นอน
    • วัดว่าเอเจนต์ embodied reasoning สามารถปฏิเสธการเรียกใช้เครื่องมือที่ไม่ปลอดภัยซึ่ง VLA ร้องขอได้หรือไม่
    • ประเมินว่าสามารถคาดการณ์ความเป็นไปได้ของการทำงาน และร้องขอการแทรกแซงจากมนุษย์ล่วงหน้าเมื่อไม่แน่ใจได้หรือไม่
  • Gemini Robotics ER 2 แสดงผลด้านความปลอดภัยดีที่สุดในบรรดาโมเดลหุ่นยนต์เดิมของ Google DeepMind ทั้งในด้านการปฏิบัติตามข้อจำกัดความปลอดภัยและเบนช์มาร์กการอยู่ใกล้มนุษย์
    • ตรวจจับคนรอบข้างได้ดีขึ้น
    • หากมีคนเข้าใกล้เกินไป จะเรียกใช้เครื่องมือความปลอดภัยและหยุดหุ่นยนต์อย่างปลอดภัย
    • เป็นความสามารถที่มาตรฐานความปลอดภัยสำหรับการทำงานร่วมกับมนุษย์กำหนดไว้
  • ดูการประเมินโดยละเอียดได้ใน Gemini Robotics 2: Safety Technical Report
  • เป้าหมายคือการสร้างปัญญาแกนหลักของ physical AI อเนกประสงค์ ที่ก้าวพ้นการทำงานอัตโนมัติแบบงานเดี่ยว ไปสู่การแก้ปัญหาซับซ้อนร่วมกับมนุษย์

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2 시간 전
ความคิดเห็นจาก Hacker News

  • ในฐานะนักวิจัยของ DeepMind ที่มีส่วนร่วมในการพัฒนาโมเดลนี้ DeepMind เป็นที่ทำงานที่ดีมาก เป็นหนึ่งในห้องแล็บวิจัยไม่กี่แห่งที่มีเอกลักษณ์ตรงที่สามารถข้ามไปมาระหว่างแทบทุกสาขาที่เกี่ยวข้องกับปัญญาได้ ตั้งแต่ Gemini·Gemma, หุ่นยนต์ ไปจนถึงวิทยาศาสตร์อย่างสภาพอากาศและชีววิทยา และมีเพื่อนร่วมงานยอดเยี่ยมมากมาย จึงน่าพิจารณาเข้าร่วม

    • สงสัยว่า การพัฒนาโมเดล frontier กับการพัฒนาโมเดลเปิด ต่างกันอย่างไรในเชิงรูปธรรม โมเดลเปิดมักมีขนาดเล็กกว่าและผ่านการตรวจสอบด้านความปลอดภัยมากกว่า แต่โดยแก่นแล้วก็ดูคล้ายกัน และงานวิจัย AI ทั่วไปส่วนใหญ่น่าจะนำไปใช้ได้กับทั้งสองฝั่งไม่ใช่หรือ
    • อยากรู้จริง ๆ ว่ากำลังป้องกันการนำไปใช้ในทางที่ผิดโดยรัฐบาล บริษัท และกองทัพอย่างไร อยากรู้ด้วยว่าเทคโนโลยีนี้จะถูกใช้เพื่อ ปรับปรุงชีวิตของคนทั่วไป มากแค่ไหน และจะถูกใช้เพื่อเสริมการสอดส่องกับการควบคุมมากแค่ไหน
    • คำว่า “ห้องแล็บเดียว” ดูเกินไป Allen Institute for AI(AI2) แม้จะยังไม่ถึงระดับ frontier เท่าไร แต่ก็ครอบคลุมพื้นที่ส่วนใหญ่เช่นกัน และยังน่าจับตาจากเงินสนับสนุน 152 ล้านดอลลาร์ของ NSF กับความร่วมมือกับ Nvidia ในด้านหุ่นยนต์มี MolmoBot, MolmoSpaces, MolmoAct ฯลฯ: https://allenai.org/embodied-ai
    • ในฐานะกรรมการผู้จัดการของ AGI Society ซึ่งจัด AGI Conference มาตั้งแต่ปี 2007 อยากเชิญให้มานำเสนองานวิจัยในงานปีหน้า ปีนี้การบรรยายของ Alexander Lerchner ยอดเยี่ยมมาก หากบอกอีเมลที่สะดวกมา จะติดต่อไป

  • แม้ Anthropic กับ OpenAI จะได้ความสนใจไป 80% แต่ขอบเขตที่ Google ทำได้ ตั้งแต่ โมเดลระดับ frontier ที่เร็วและเปิดน้ำหนัก ไปจนถึงการสร้างภาพ วิดีโอ ดนตรี และหุ่นยนต์ ก็น่าประทับใจมาก

    • Google ดูเหมือนบริษัทที่เก่งและทำงานเงียบ ๆ อยู่แนวหน้าของเทคโนโลยีใหม่หลายอย่าง ขณะที่แชตบอตล่าสุดของ OpenAI และ Anthropic กลับได้ข่าวแบบเกินจริงอย่าง “AI ควบคุมไม่ได้” หรือ “อันตรายเกินไป ต้องแบน” วัฏจักร กระแสโฆษณาเกินจริง แบบนี้กำลังค้ำมูลค่าบริษัทคู่แข่งหน้าใหม่ที่สูงเกินเหตุ
    • Google DeepMind กำลังพัฒนาแนวคิดใหม่ ๆ ในแนวหน้าของ AI ขณะที่ที่อื่น ๆ กำลังไล่ตาม คะแนน benchmark เพิ่มขึ้นไม่กี่เปอร์เซ็นต์
    • จะไม่พูดถึง งานวิจัยการพับโปรตีนและรางวัลโนเบล ก็ไม่ได้

  • การเคลื่อนไหวของหุ่นยนต์ช้าและไม่ลื่นไหล แต่ ChatGPT ช่วงแรกก็ดูเชื่องช้ามากเหมือนกัน ถ้ามันพัฒนาได้ เร็วเท่ากับ LLM ขอบเขตการใช้งานอาจขยายใหญ่โตภายในไม่กี่ปี

    • งานบ้านไม่จำเป็นต้องเร็วกว่าคนทำ แค่ทำความสะอาดให้เสร็จก่อนกลับจากทำงานก็พอแล้ว
    • จาก GPT-2 ไป GPT-3 และจาก Gemini Robotics 1 ไป 2 ต่างก็ใช้เวลา 15 เดือน แต่กรณีแรกเป็นการก้าวกระโดดมหาศาล ขณะที่กรณีหลังแทบไม่ต่างไปจากเดิม: https://blog.google/products-and-platforms/products/gemini/h...
      การเคลื่อนไหวของหุ่นยนต์ที่ช้าและนิ่ง กับการเคลื่อนไหวที่เร็วและยืดหยุ่น มีระดับความยากต่างกันโดยสิ้นเชิง เมื่อเคลื่อนที่เร็ว ต้องคำนวณโมเมนต์ความเฉื่อยจากการหมุนของข้อต่อและมวลหลายส่วน รวมถึงการเปลี่ยนสมดุล หลายร้อยถึงหลายพันครั้งต่อวินาที การพับเสื้อยืดจากสภาพหยุดนิ่งให้สำเร็จ 90% นั้นง่าย แต่ อัตราสำเร็จ 99% หรือการพับให้เร็ว ซับซ้อนอย่างเหลือเชื่อ
    • เป็นวิดีโอโปรโมตแรกที่ดูสมเหตุสมผลแม้เล่นด้วยความเร็วจริง อย่างไรก็ตาม ยังไม่ชัดเจนว่า อัตราสำเร็จ 50~75% ในเอกสารอื่นหมายถึงสำเร็จในครั้งแรกหรือสำเร็จในท้ายที่สุด
    • การที่ Google เผชิญหน้าโดยตรงกับ Moravec's paradox ถือว่ากล้าพอสมควร: https://en.wikipedia.org/wiki/Moravec%27s_paradox
    • การเคลื่อนไหวลื่นไหลแต่ช้า และน่าจะเป็นเพราะ ความปลอดภัย เป็นหลัก หุ่นยนต์ที่ติดมอเตอร์แรง ๆ สามารถทำให้คนบาดเจ็บได้จริง ดังนั้นหุ่นยนต์อุตสาหกรรมจึงทำงานอยู่หลังรั้วนิรภัย
      ไม่ควรคาดหวังให้มันเลียนแบบการเคลื่อนไหวแบบ inverse kinematics เหมือนตุ๊กตาดิจิทัลไปตรง ๆ หากเป้าหมายการปรับให้เหมาะสมคือการลดการใช้พลังงาน การเคลื่อนไหวของแขนไฟฟ้าหลายข้อต่ออาจดูแปลกไปบ้าง

  • ผมเลิกคาดหวังกับหุ่นยนต์ฮิวแมนนอยด์แล้วเพราะ ข้อจำกัดของ actuator หลัง Honda ASIMO แทบไม่มีนวัตกรรม และคงไม่มีใครอยากเอาก้อนโลหะหนัก 80 กก. ที่โคลงเคลงมาไว้ในบ้านหรือที่ทำงาน
    การปฏิวัติหุ่นยนต์ขั้นสุดท้ายอาจใช้ร่างกายของมนุษย์หรือสัตว์ดัดแปลงพันธุกรรมที่ถูกแทนที่สมองก็ได้ ผมคิดว่าหากควบคุมหมีที่ถูกทำให้ไม่มีสติด้วย Neuralink และ LLM มันจะเหมาะเป็นแรงงานก่อสร้างมากกว่า ส่วนสัตว์ที่เร็วก็ใช้ส่งของ และยีราฟใช้ในคลังสินค้าได้

    • ยีราฟแค่ตัวสูง แต่ยกน้ำหนักแทบไม่ได้ จึงน่าสงสัยว่าจะมีประโยชน์ในคลังสินค้าหรือไม่ คำกล่าวว่าไม่มีนวัตกรรมด้าน actuator ก็น่าเชื่อยาก และ actuator ของ MIT Cheetah ต่างจาก ASIMO อย่างสิ้นเชิงในด้าน backdrivability และความแข็งแบบปรับได้ อีกทั้งยังมีงานวิจัยที่ผสานองค์ประกอบยืดหยุ่นอย่างแข็งขันด้วย
    • Cortical Labs กำลังวิจัยด้านนี้ และครั้งหนึ่งเคยปล่อยเดโม Doom ด้วย แบบชีวภาพมีความอเนกประสงค์ แต่สำหรับงานจำนวนมาก แบบโลหะแข็งแรงกว่า และสมองมี bandwidth ต่ำกับ latency สูง ชิปซิลิคอนจึงได้เปรียบสำหรับการอนุมาน
      จากที่เห็นงานน่าสนใจในวงการ 3D printing ผมคิดว่า actuator ก็กำลังพัฒนาไปมาก จึงอยากรู้เพิ่มเติมเกี่ยวกับข้อกล่าวอ้างว่าล้าหลัง
    • ไม่เห็นด้วยเลยว่า actuator ไม่ได้พัฒนา หลังงานวิจัย MIT Mini Cheetah ของ Ben Katz ความหนาแน่นของแรงบิดและราคา ดีขึ้นมาก และ actuator ของ Unitree G1 ที่ต่อยอดจากแนวนี้ก็เล็กแต่ทรงพลัง และใกล้เคียงกับการขับเคลื่อนแบบ quasi-direct drive มอเตอร์ BD E-Atlas ก็ดูเหมือนจะระบายความร้อนแบบ passive ทั้งหมดแต่มีความหนาแน่นแรงบิดดี และไม่เคยพัฒนาเร็วเท่าตอนนี้มาก่อน
    • อนาคตแบบนั้นน่ากลัว แต่คงยังอยู่ไกลมากเพราะความยากทางเทคนิคและอุปสรรคด้านการอนุญาตทดลอง อย่างไรก็ตาม เห็นด้วยว่า รูปทรงฮิวแมนนอยด์เป็นทางตัน
      แค่สร้างกล่องขนาดใหญ่ที่รับอินพุตแล้วให้ผลลัพธ์เหมือนเครื่องล้างจานก็พอ การสร้างอุปกรณ์พับผ้าที่ทำหน้าที่คู่กับเครื่องซักผ้า·เครื่องอบผ้า หรือครัวหุ่นยนต์แบบบูรณาการ น่าจะมีประสิทธิภาพกว่าการเลียนแบบมือคนมาก
    • การดัดแปลงสิ่งมีชีวิตดูยากกว่าการสร้างหุ่นยนต์ฮิวแมนนอยด์หลายลำดับขั้น เรายังทำแฮมเบอร์เกอร์โดยไม่ใช้วัวในราคาที่ขายในตลาดได้ไม่ได้เลย

  • ต้องการคนที่จะประเมินระดับจริงของเทคโนโลยีนี้อย่างตรงไปตรงมา อยากรู้เรื่องอุปกรณ์วัดที่จำเป็น คุณภาพของการโต้ตอบ และ ประสิทธิภาพในงานประจำวันแบบไม่มีรูปแบบตายตัว เช่น การหมุนลูกบิดประตู การกู้คืนหลังล้ม และการหลีกเลี่ยงการชน

    • ผมทำงานในสาขานี้ และเคยเขียนวิทยานิพนธ์ปริญญาตรีเกี่ยวกับ โมเดลภาพ-ภาษา-การกระทำ (VLA) ที่ไม่ใช่ฮิวแมนนอยด์ หรือก็คือการเชื่อม ChatGPT เข้ากับแขนหุ่นยนต์ ตอนนี้ยังไม่ถึงขั้นใช้งานได้จริง และชิ้นส่วนประกอบบางอย่างก็อาจไม่มีชื่อเรียกที่ชัดเจน ทำให้คำสั่งกำกวมที่มนุษย์เข้าใจได้ หุ่นยนต์อาจประมวลผลไม่ได้
      ข้อมูลความแม่นยำที่เชื่อถือได้ก็ยังมีน้อย และเบนช์มาร์กอย่าง LIBERO ก็อิ่มตัวแล้ว เพราะแทบทั้งหมดทำได้ 95% ขณะที่แต่ละบริษัทและนักวิจัยใช้การประเมินของตัวเอง มีหลายบริษัทที่หลอกในการสาธิต หรือให้ทำงานใกล้มนุษย์อย่างอันตราย
      สิ่งที่ยากกว่าลูกบิดประตูและการกู้คืนหลังล้มเอง คือการจัดแนวอิฐหรือชิ้นส่วนให้แม่นยำในกระบวนการผลิต เมื่อเทียบกับฮิวแมนนอยด์ที่ซับซ้อนและมีข้อต่อจำนวนมากต้องจัดการ แขนหุ่นยนต์ติดล้อ อย่าง Mobile ALOHA ดูเหมาะกับการจัดห้องพักโรงแรม หรือการทำอาหารในร้านที่มีขั้นตอนคงที่มากกว่า
    • ตอนนี้ยังอยู่ในระดับ GPT-1 แต่รู้สึกว่าโมเมนต์ที่เทียบได้กับ GPT-2 ใกล้เข้ามาแล้ว
    • เกณฑ์พิสูจน์ของจริงคือสตาร์ทอัพที่ขายหุ่นยนต์บริการในบ้านจะสามารถหาผู้ใช้ซ้ำได้จริงหรือไม่ ผมเคยทำต้นแบบหุ่นยนต์หลายแบบอย่างมืออาชีพ ความก้าวหน้ามีแน่นอน แต่ยังห่างไกลมากจากการที่ผู้บริโภคทั่วไปจะใช้ทำงานจิปาถะได้อย่างเสถียร
      ตามข้อโต้แย้งใน https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex... ความคล่องแคล่วของมือก็เป็นปัญหาฮาร์ดแวร์ ด้วย และกริปเปอร์ไม่ใช่มือ แม้แต่การควบคุมมือหลายนิ้วก็ยังยากอยู่ และเซนเซอร์ก็ยังไม่เพียงพอ
    • ในวงการหุ่นยนต์มี การตบตาหลอกลวงเยอะมาก ตั้งแต่วิดีโอที่จัดฉากอย่างประณีตเพื่อเดโมเฉพาะอย่าง ไปจนถึงการหลอกลวงที่บอกว่าทำงานอัตโนมัติ แต่จริง ๆ แล้วควบคุมจากระยะไกล แม้แต่หุ่นยนต์สุนัขหรือยานภาคพื้นไร้คนขับก็มีประโยชน์ใช้สอยต่ำกว่าที่โฆษณาเกินจริงไว้
      หุ่นยนต์เป็นอุตสาหกรรมเฉพาะกลุ่ม ยกเว้นสาขาโคบอท ส่วนข้อยกเว้นคือโดรน ซึ่งมีศักยภาพสูงหากแก้ปัญหาระยะเวลาบินได้ ฮิวแมนนอยด์ยังอีกไกลกว่าจะมีประโยชน์ในสภาพแวดล้อมจริง และยานภาคพื้นไร้คนขับส่วนใหญ่ถอยหลังบนบันไดยังไม่ได้ด้วยซ้ำ

  • AI Robotics คือการปฏิวัติของจริง ตอนนี้ผู้ถือครองทุนยังต้องใช้แรงงานมนุษย์เพื่อให้ได้ทุนเพิ่ม แต่เมื่อค่าใช้จ่ายในการอนุมานของหุ่นยนต์ต่ำกว่าค่าแรงมนุษย์ ก็จะไม่จำเป็นต้องใช้แรงงานมนุษย์อีกต่อไป AI ส่งผลต่อแรงงานที่ไม่ใช้แรงกายด้วย แต่ประชากรโลกจำนวนมากทำงานใช้แรงกาย

    • ถ้ามองข้ามต้นทุนอื่นนอกจากการอนุมาน และยอมรับสภาวะปลายทางนั้น หาก ทุนถูกทำให้เป็นประชาธิปไตย ก็จะดีมาก แต่ถ้ามันยังคงกระจุกตัวอยู่กับชนชั้นส่วนน้อย ผลลัพธ์ก็แทบจะเป็นจุดจบ
    • ไม่ใช่ปัญหาเรื่องค่าอนุมานอย่างเดียว ความเสียหายจากการจัดการสิ่งของหรือสิ่งมีชีวิตผิดพลาดในโลกจริงนั้นต่างจากแอปพลิเคชันที่ไม่เป็นวัตถุอย่างสิ้นเชิง จึงอาจต้องมี กลไก fail-safe และตัวจำกัดอิสระ
    • สงสัยว่าการเปลี่ยนแปลงนั้นดีจริงหรือไม่

  • ในฐานะผู้ชายอายุ 47 ปีที่ไม่มีลูก ผมหวังว่าจะมีโอกาสได้รับความช่วยเหลือจาก หุ่นยนต์ดูแล เมื่อแก่ตัวลง

    • น่าทึ่งที่โอกาสจะได้เห็น ดรอยด์แบบ Star Wars ในช่วงชีวิตของเราเพิ่มขึ้นมาก แต่ดูเหมือนทุกคนรับมันเหมือนเป็นเรื่องธรรมดาเกินไป
    • ในฐานะคนวัย 50 กว่า ๆ ที่ตอนนี้มีพ่อแม่วัย 80 กว่า ๆ สิ่งนี้จะมีประโยชน์มากทันที เพื่อนรอบตัวหลายคนก็อยู่ในสถานการณ์คล้ายกัน

  • งานบ้านจำนวนมากสามารถทำให้เป็นอัตโนมัติได้โดยไม่ต้องใช้ฮิวแมนนอยด์ Roomba ทำความสะอาดพื้นได้ และสามารถติดตั้งระบบกำจัดขยะอัตโนมัติ รวมถึงระบบรับเข้า·คัดแยก·จัดเก็บของชำไว้ในบ้านได้
    ฮิวแมนนอยด์ชวนไม่สบายใจและไว้ใจได้ยาก หากคุณไม่เห็นด้วยกับมุมมองทางการเมืองของผู้สร้าง คุณจะยังนอนหลับสบายได้ไหมเมื่อมีหุ่นยนต์แบบนั้นอยู่ในบ้าน

    • แทบเป็นไปไม่ได้ที่จะนำระบบแบบนั้นไปติดตั้งในอพาร์ตเมนต์ ทาวน์เฮาส์ หรือบ้านแฝดที่มีอยู่แล้ว และแม้แต่บ้านเดี่ยวสร้างใหม่ก็ยังเป็นทางออกที่แพง สภาพแวดล้อมมนุษย์ที่มีอยู่เดิมถูกปรับให้เข้ากับฮิวแมนนอยด์ อยู่แล้ว ดังนั้นรูปทรงฮิวแมนนอยด์จึงมีประโยชน์
    • Roomba ทำความสะอาดพื้นได้แค่ 80–90% และก็ไม่ได้สะอาดเท่าเครื่องดูดฝุ่นจริง ๆ หากรวมการเก็บของเล่นสุนัขและการเทถังเก็บฝุ่นแล้ว ในทางปฏิบัติเหลือราว 60% ดังนั้นถ้าจะจัดการให้ได้ 100% ก็ต้องใช้ร่างกายมนุษย์เต็มรูปแบบ
    • ไม่ควรมีสถานการณ์ที่เราต้องไว้ใจหุ่นยนต์ตั้งแต่แรก Roomba หรือเครื่องล้างจานแม้ทำงานผิดพลาดก็ไม่สามารถตัดนิ้วคนได้ และไม่สามารถแอบฟังหรือเฝ้าระวังได้ด้วย สิ่งแบบนี้ต่างหากคือ หุ่นยนต์ที่ดี

  • สงสัยว่าทำไมถึงอยากเพิ่มร่างหุ่นยนต์เข้าไปอีก ทั้งที่โลกมีขีดจำกัดและมนุษย์ก็เพิ่มขึ้นเรื่อย ๆ AI ในศูนย์ข้อมูลอย่างน้อยก็ไม่ได้มาแข่งขันเบียดไหล่กับผมในทางกายภาพ ผมไม่เข้าใจว่าทำไมถึงต้องการ หุ่นยนต์ที่ซับซ้อน ทั้งที่มีมนุษย์อยู่แล้ว

    • มีสัญญาณมากมายว่าการขยายตัวไร้ขีดจำกัดของมนุษย์กำลังหยุดลง เหตุผลที่ชัดเจนว่าทำไมต้องมีหุ่นยนต์ซับซ้อน คือเพื่อให้มันรับงานที่ มนุษย์ไม่อยากทำ เพราะหนักจนทำให้หลังพัง สกปรก อันตราย หรือน่าเบื่อ

  • ถ้าใช้ LLM ทั้งตัวในการขับเคลื่อนหุ่นยนต์ น่าจะหนักเกินไปจนแม้ใช้ GPU แรง ๆ ก็อาจมี latency ขั้นต่ำ 1–2 วินาที และไม่เหมาะกับหุ่นยนต์ใช้งานจริง
    การมองเห็นของเครื่องควรให้แมชชีนเลิร์นนิงรับผิดชอบ แต่การขับเคลื่อนการเคลื่อนไหวควรมอบให้การควบคุมแบบ PID เชิงเส้น·ไม่เชิงเส้น แบบดั้งเดิม หากใช้ LLM ทั้งตัวเป็นตัวควบคุม น่าจะชนข้อจำกัดของฮาร์ดแวร์

    • ปัญหา latency ในปัจจุบันนั้นจริง แต่ยังมีช่องว่างให้เพิ่มประสิทธิภาพการอนุมานได้มาก จึงมีโอกาสสูงที่จะเปลี่ยนไปในอนาคตอันใกล้ การควบคุมแบบอาศัยการวิเคราะห์·การเพิ่มประสิทธิภาพอย่าง PID ชะงักมาหลายสิบปีแล้ว ขณะที่ การควบคุมแบบ end-to-end แสดงประสิทธิภาพยอดเยี่ยมทั้งด้านประสิทธิภาพพลังงานในการเดิน และความทนทานที่เหยียบกองใบไม้แล้วยังไม่ล้ม อีกทั้งยังนำไปใช้กับหุ่นยนต์ใหม่ได้ง่ายกว่ามาก
      บริษัทอย่าง Physical Intelligence ก็กำลังได้ผลลัพธ์ที่ดีจาก โครงสร้างแบบลำดับชั้น ที่ผสานเลเยอร์เร็วกับเลเยอร์ช้า เพื่อแก้ทั้งปัญหาความฉลาดและ latency พร้อมกัน
    • Nvidia รัน VLA 2 พันล้านพารามิเตอร์ที่ 10Hz บนชิปของตัวเอง และเท่าที่ผมรู้ โมเดล 500 ล้านพารามิเตอร์ที่เผยแพร่สู่สาธารณะก็ทำงานที่ 10Hz เช่นกัน