- เป็นโมเดล embodied navigation ขนาด 8B ตัวแรก ของ Mistral ที่ทำให้หุ่นยนต์เคลื่อนที่ในสภาพแวดล้อมซับซ้อนได้ด้วย กล้อง RGB เพียงตัวเดียว และคำสั่งภาษาธรรมชาติ
- ทำสถิติ อัตราความสำเร็จ 76.6% บน R2R-CE validation unseen ซึ่งสูงกว่าทั้งระบบกล้องเดี่ยวที่ดีที่สุด และระบบชั้นนำที่ใช้ depth หรือกล้องหลายตัว
- ใช้วิธี pointing ที่ทำนาย พิกัดภาพ ของเป้าหมายบนหน้าจอปัจจุบันและทิศทางเมื่อไปถึง และหากเป้าหมายอยู่นอกมุมมองจะเปลี่ยนเป็นคำสั่งการกระจัดในพิกัดเฉพาะของหุ่นยนต์
- พัฒนาขึ้นภายในบริษัททั้งหมดโดยไม่พึ่งพาโอเพนซอร์ส VLM เดิม และฝึกจาก trajectory ที่สร้างด้วยการจำลองราว 400,000 รายการ และ scene 6,000 รายการ
- ลดโทเคนที่ใช้ฝึกลง 22 เท่าด้วย prefix-caching และหลังจากนั้นเพิ่มอัตราความสำเร็จได้อีก 3.2% ด้วย CISPO online reinforcement learning
การนำทางหุ่นยนต์ด้วยกล้องเดี่ยว
- Robostral Navigate คือโมเดล embodied navigation ตัวแรกของ Mistral ที่รับภาพ RGB และคำสั่งภาษาธรรมชาติเป็นอินพุตเพื่อให้หุ่นยนต์เคลื่อนที่ในสภาพแวดล้อม
- ตัวอย่างคำสั่งมีลักษณะเช่น “ออกจากล็อบบี้ เดินผ่านโถงทางเดิน เข้าไปในห้องเก็บอุปกรณ์ จากนั้นหันไปที่ชั้นวางอันที่สองแล้วหยุด”
- ต่างจากแนวทางที่ใช้ depth sensor, LiDAR หรือกล้องหลายตัวร่วมกัน โมเดลนี้ใช้เพียง กล้อง RGB ทั่วไปตัวเดียว
- R2R-CE (Room-to-Room in Continuous Environments) validation unseen เป็นเบนช์มาร์กสำหรับการเคลื่อนที่ตามคำสั่งในสภาพแวดล้อมที่ไม่รวมอยู่ในการฝึก
- Robostral Navigate ทำอัตราความสำเร็จได้ 76.6% บน validation unseen
- สูงกว่าแนวทางกล้องเดี่ยวที่ดีที่สุด 9.7 จุด
- สูงกว่าระบบที่ดีที่สุดที่ใช้ depth หรือกล้องหลายตัว 4.5 จุด
ประสิทธิภาพบนเบนช์มาร์กและความเข้ากันได้กับหุ่นยนต์
- โมเดลนี้ออกแบบมาเพื่อให้หุ่นยนต์เคลื่อนที่อัตโนมัติในพื้นที่ซับซ้อน เช่น สำนักงาน อาคารที่อยู่อาศัยและพาณิชย์ รวมถึงสภาพแวดล้อมกลางแจ้ง
- ด้วยคำสั่งเพียงชุดเดียว มันสามารถทำภารกิจทั้งหมดได้เองในพื้นที่จริงที่มีทั้งคนและสิ่งกีดขวาง
- ประสิทธิภาพหลักและเงื่อนไขการทำงานมีดังนี้
- ทำผลงาน ล้ำสมัยที่สุด บน R2R-CE
- อัตราความสำเร็จบน validation seen คือ 79.4%
- อัตราความสำเร็จบน validation unseen คือ 76.6%
- ทำงานด้วยกล้อง RGB เพียงตัวเดียวโดยไม่ต้องใช้ LiDAR หรือ depth sensor
- เป็นโมเดล 8B ที่สร้างภายในบริษัท และการฝึกทั้งหมดอิงการจำลอง
- ใช้งานได้กับหุ่นยนต์แบบล้อ แบบเดิน และแบบบิน และสามารถทำให้ทั่วไปกับความแตกต่างของขนาดหุ่นยนต์ได้
- มีความทนทานต่อความต่างของพารามิเตอร์ภายในของกล้อง
- ใช้การฝึกแบบ ประหยัดโทเคน ผ่าน prefix-caching
วิธีการเคลื่อนที่แบบ Pointing
- Robostral Navigate ทำนายตำแหน่งที่หุ่นยนต์ควรเคลื่อนที่ต่อไปด้วยวิธี pointing โดยอิงจากงานที่ได้รับและประวัติการสังเกต
- สิ่งที่ทำนายคือพิกัดภาพของตำแหน่งเป้าหมายภายในมุมมองกล้องปัจจุบัน และทิศทางที่ต้องการเมื่อไปถึง
- ต่างจากคำสั่งที่อาศัย metric displacement วิธี pointing มีความทนทานโดยธรรมชาติต่อความต่างของพารามิเตอร์ภายในกล้องและสเกลของโลกจริง
- หากตำแหน่งเป้าหมายอยู่นอกมุมมองปัจจุบัน จะจัดการด้วย pointing เพียงอย่างเดียวได้ยาก
- ในกรณีนั้นจะเปลี่ยนเป็นคำสั่งการกระจัดในพิกัดเฉพาะของหุ่นยนต์
- ตัวอย่างเช่น “เดินหน้า 2 เมตร เลื่อนไปทางซ้าย 1.5 เมตร แล้วหมุนไปทางซ้าย 25 องศา”
โมเดลที่พัฒนาภายในและข้อมูลจากการจำลอง
- Robostral Navigate ถูก พัฒนาขึ้นภายในบริษัททั้งหมด โดยไม่พึ่งพาโอเพนซอร์ส VLM ที่มีอยู่เดิม
- สำหรับการตั้งต้น ใช้โมเดลวิชัน-ภาษาของ Mistral ที่เชี่ยวชาญงาน grounding เช่น pointing, counting และ object localization
- การนำทางเป็นการต่อยอดจากความสามารถด้าน grounding เหล่านี้ โดยให้โมเดลเข้าใจตำแหน่งของวัตถุก่อนแล้วจึงเรียนรู้วิธีเคลื่อนที่
- ไปป์ไลน์สร้างข้อมูลทั้งหมดสร้างขึ้นภายใน การจำลอง
- ทำให้สามารถปรับปรุงข้อมูลแบบวนซ้ำได้อย่างรวดเร็ว
- ชุดข้อมูลสุดท้ายประกอบด้วย trajectory ราว 400,000 รายการ และ scene 6,000 รายการ
การฝึกอย่างมีประสิทธิภาพและ online reinforcement learning
- องค์ประกอบหลักของ supervised learning คืออัลกอริทึมการฝึกอย่างมีประสิทธิภาพที่อิง prefix-caching
- ใช้กลยุทธ์ tree-based attention masking เพื่อบีบอัดทั้ง episode ให้เป็น sequence เดียว
- ทำให้ฝึกทุก time step ได้ใน single forward pass
- และป้องกันข้อมูลรั่วไหลระหว่าง time step
- เมื่อเทียบกับการฝึกที่ใช้หนึ่งตัวอย่างต่อหนึ่ง time step วิธีนี้ลดจำนวนโทเคนที่ใช้ฝึกลง 22 เท่า ขณะยังคงสัญญาณการฝึกไว้
- เปลี่ยนการรันฝึกที่ปกติอาจใช้เวลาหลายเดือนให้จบได้ภายในไม่กี่วัน
- หลัง supervised learning แล้ว ยังปรับปรุงประสิทธิภาพต่อด้วยอัลกอริทึม online reinforcement learning แบบ CISPO
- ทำให้โมเดลเรียนรู้จากการลองผิดลองถูก ฟื้นตัวจากความล้มเหลว และเรียนรู้พฤติกรรมการสำรวจ
- บรรเทาปัญหา distribution shift ที่พบใน behavior cloning ทั่วไป
- เพียงขั้นตอนนี้ก็เพิ่มอัตราความสำเร็จได้ 3.2%
- ยังไม่เห็นสัญญาณ plateau จึงมีโอกาสเพิ่มตัวเลขได้อีกด้วยการฝึกและการทดลองเพิ่มเติม
ขั้นถัดไปสู่ embodied agent แบบบูรณาการ
- Robostral Navigate เป็นก้าวแรกสู่ embodied agent แบบบูรณาการ
- Mistral มองว่าการนำทางเป็นความสามารถพื้นฐานของงานหุ่นยนต์อเนกประสงค์
- แสดงให้เห็นว่าการผสานการจำลองขนาดใหญ่ การฝึกอย่างมีประสิทธิภาพ และ grounding prior ที่แข็งแรง สามารถทำ embodied navigation ระดับล้ำสมัยได้ด้วยโมเดลขนาดกะทัดรัดและกล้อง RGB เพียงตัวเดียว
- Mistral กำลังขยายทีมโรโบติกส์ และกำลังเปิดรับนักวิจัยและวิศวกร
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
แม้จะบอกว่า “มีประสิทธิภาพล้ำหน้าที่สุดบน R2R-CE” แต่ควรระบุให้ชัดว่า R2R-CE เป็น benchmark ที่ประกอบขึ้นจากสภาพแวดล้อมจำลอง
การเอาชนะ benchmark นี้มีความหมายใกล้เคียงกับการทำให้หุ่นยนต์เล่น Minecraft หรือวิดีโอเกมอื่นได้เก่งขึ้น น่าทึ่งก็จริง แต่หุ่นยนต์ควรทำงานใน โลกกายภาพจริง ไม่ใช่สภาพแวดล้อมดิจิทัล
การประเมินประสิทธิภาพของระบบหุ่นยนต์ในโลกจริงนั้นยากมาก หากประสิทธิภาพแย่ ก็ต้องมีหุ่นยนต์สำรองจำนวนมากเพื่อให้การประเมินจบลงได้
ในบทความยังมีวิดีโอสาธิตที่แทบจะขาดไม่ได้ คือหุ่นยนต์จริงเคลื่อนที่ด้วยความเร็ว 2 เท่าในสภาพแวดล้อมอย่างพื้นเรียบและสำนักงานที่แทบว่างเปล่า ตอนนี้กลายเป็นภาพจำของวงการนี้ไปแล้ว และมีคะแนนพิเศษตรงท้ายคลิปที่มีคนสามคนเดินตัดเส้นทางหุ่นยนต์อย่างระมัดระวัง
แต่เรื่องนี้คล้ายกับกระแสอวยเกินจริงรอบ Aloha เมื่อไม่กี่ปีก่อน เหมาะสำหรับให้ทีมถูกบริษัทเทคโนโลยีรายใหญ่ซื้อไป หรือหาเงินทุนมาวิจัยเทคโนโลยีเจ๋ง ๆ ต่อ แต่ยังไม่พอให้คาดหวังว่าเป็นความคืบหน้าจริงไปสู่หุ่นยนต์แม่บ้าน/พ่อบ้านที่เดินไปมาในบ้านหรือสำนักงานได้
จากสิ่งที่สื่อออกมา และหวังว่าจะเป็นจริง นี่ดูเหมือนเป็น navigation แบบไม่ใช้แผนที่ ถ้าใช่ก็น่าประทับใจ
หากมีแผนที่ของสภาพแวดล้อมที่เก็บไว้ล่วงหน้า งานแบบนี้จะง่ายขึ้นมาก แต่ถ้าทำได้โดยไม่มีแผนที่ก็ยอดเยี่ยม
ในอดีตมักมีปัญหา “หุ่นยนต์ถูกลักพาตัว” คือถ้าหุ่นยนต์ไม่รู้ตำแหน่งตัวเอง มันก็ขยับไปไหนไม่ได้เลยแม้แต่น้อย ในกรณีนี้ดูเหมือนว่าหุ่นยนต์จะทำตามคำสั่งได้ ตราบใดที่เป็นคำสั่งที่ตีความได้จากมุมมองปัจจุบัน หรือสามารถตามได้ด้วย dead reckoning
ถ้าสั่งว่า “หา elevator ในชั้นนี้” มันจะเดินสำรวจ ทำแผนที่ และทำตัวเหมือนมนุษย์ที่กำลังหา elevator ได้ไหม?
โมเดล navigation แบบนี้ในปัจจุบันสมมติว่าคนเขียนคำสั่งรู้จุดสังเกตทางสายตาที่มีประโยชน์ต่อการเคลื่อนที่เป็นอย่างดี ซึ่งไม่สมจริงสำหรับ use case ส่วนใหญ่
สงสัยว่ามีเส้นทางที่เป็นไปได้จริงแค่ไหนในการได้ลองใช้สิ่งนี้ อยากเชื่อมต่อกับ OpenClaw เพื่อทดลองเล่นเป็นงานอดิเรก
ความฝันคือเอา OpenClaw ใส่ในหุ่นยนต์ฟาร์ม ดัดแปลงรถตัดหญ้า RC แบบตีนตะขาบสำหรับกำจัดวัชพืชบนเนินชัน แล้วมอบหมายงานอย่าง “สำรวจแนวรั้ว ถ่ายรูปพืช ค้นหาต้น poison ivy กับเถา honeysuckle รุกรานให้หมด แล้วฉีดด้วยเครื่องพ่น Roundup ทำซ้ำทุกสัปดาห์ จากนั้นรายงานแผนที่การกระจายของชนิดพันธุ์ และถ้าแบตใกล้หมดให้กลับโรงนาไปชาร์จ”
การใส่ OpenClaw ลงในตัวหุ่นยนต์ไม่ใช่เรื่องยาก YouTube ก็มีวิดีโอแบบนั้นมากมาย แต่พอเจาะลึกสิ่งที่คนทำขึ้นมาจริง ๆ ส่วนการเคลื่อนที่ มักจะหยาบที่สุดเสมอ และการทดลองของผมก็เป็นแบบเดียวกัน
โมเดล 8B แบบนี้ดูเหมาะมากสำหรับแก้ปัญหาการวางเส้นทางและ navigation
ถ้ามีใครคุ้นกับ Mistral หรือบริษัทคล้าย ๆ กันมากกว่านี้ ผมอยากรู้ว่าพวกเขาสนใจการทดลองของ maker งานอดิเรกแบบนี้ด้วยไหม หรือมองหาเฉพาะพาร์ตเนอร์เชิงพาณิชย์เป็นหลัก? ผมยินดีจ่ายค่าไลเซนส์เพื่อใช้ทดลอง แต่ถ้าเป็นบุคคลคนเดียวทำเล่นเอง พวกเขาอาจไม่ร่วมมือด้วย เว้นแต่จะเอาไปทำธุรกิจ
ถึงอย่างนั้น Robostral Navigate ถูกออกแบบให้ไม่ขึ้นกับฮาร์ดแวร์ สามารถติดกับแพลตฟอร์มหุ่นยนต์ใดก็ได้ และต้องการเพียงกล้อง RGB ตัวเดียว ไม่ต้องใช้ LiDAR หรือเซ็นเซอร์วัดความลึก ดังนั้นในเชิงทฤษฎีก็เหมาะกับอุปกรณ์งานอดิเรก
ตอนนี้ยังไม่มีไลเซนส์สาธารณะสำหรับงานอดิเรก/ไม่เชิงพาณิชย์ หรือการเปิดเป็นโอเพนซอร์ส และยังไม่มีการประกาศราคาหรือระดับไลเซนส์สำหรับบุคคล สิ่งที่ทำได้ตอนนี้คือ ติดต่อ Mistral AI โดยตรงและถามให้ชัดว่า “ผมเป็น maker งานอดิเรกที่ทำการทดลองส่วนตัวด้วย OpenClaw + Robostral Navigate และอยากหารือเรื่องไลเซนส์ไม่เชิงพาณิชย์”
คอยติดตาม Mistral Discord หรือ forum ไว้ก็ดี และถ้าไม่มีการตอบรับ ก็อาจรอกระแสการทำฟีเจอร์คล้ายกันในโปรเจกต์ robotics โอเพนซอร์สอย่าง ROS หรือ Habitat
ดูเหมือนจะยังไม่ใช่โมเดลสาธารณะ แต่ถ้าเปิดให้ใช้เมื่อไร navigation ด้วยกล้องเดี่ยว จะใช้ง่ายขึ้น และน่าจะทำให้โปรเจกต์หุ่นยนต์งานอดิเรกเจ๋ง ๆ เกิดขึ้นได้มากมาย
เจ๋งมาก ขอแสดงความยินดีกับทีม Mistral navigation แบบไม่ใช้แผนที่ กลางแจ้งมีมาค่อนข้างนานแล้ว แต่ navigation แบบไม่ใช้แผนที่ภายในอาคารยังถือว่าค่อนข้างใหม่
นักวิจัยจาก Stanford เคยฝึกโมเดล vision ชื่อ PIGEON ที่ทายตำแหน่งทางภูมิศาสตร์จากภาพใด ๆ ได้ มันไม่ได้ถูกเปิดเผย เพราะมีความเสี่ยงถูกนำไปใช้ละเมิดความเป็นส่วนตัว เช่น stalking สูงมาก แต่ดูเหมือนว่าเบื้องหลังหุ่นยนต์นี้จะมีเทคโนโลยีประเภทคล้ายกันอยู่ด้วย ถ้าใครรู้มากกว่านี้ช่วยแก้ไขให้ด้วย
ลิงก์论文 PIGEON: https://lukashaas.github.io/PIGEON-CVPR24/
Mistral ดูเหมือนจะไปกว้าง แต่ก็เจาะ niche ไปพร้อมกัน นี่อาจเป็น กลยุทธ์ที่ฉลาด ในอนาคต
มินิมอลมากจนน่าประทับใจ
อีกด้านหนึ่งก็ทำให้นึกถึงวิดีโอสาธิตหุ่นยนต์ที่นักวิจัยในแวดวงวิชาการกับ Willow Garage เคยอัปโหลดกันราวปี 2010
ปัญหาของโรโบติกส์คือ การทำเดโมให้ดูน่าเชื่อถือนั้นง่าย แต่การทำให้มันทำงานได้จริงในกรณีทั่วไปนั้นยากมาก รถไร้คนขับเป็นตัวอย่างที่ดี
พร้อมจะรอ หุ่นยนต์ผู้ช่วยในบ้าน ที่ทำอาหารเย็น ล้างจาน และเอาขยะไปทิ้งได้
แต่สิ่งที่น่ากลัวคือวันที่ผู้ช่วยพวกนั้นถูกนำไปใช้ในสงคราม ไม่ว่าจะเพื่อฉันหรือกับฉันก็ตาม
ความเร็วในการสุ่มตัวอย่างของเซ็นเซอร์เราและความเร็วในการอนุมานของสติปัญญาเรานั้นนำหน้าหุ่นยนต์ระดับสูงสุดในปัจจุบันอยู่หลายลำดับขั้น ตอนนี้มนุษย์ยังละเอียดอ่อนและมีความสามารถกว่ามาก
หวังว่าจะมีอุปกรณ์ที่เบาพอได้ แต่เมื่อคิดถึงข้อกำหนดเรื่องน้ำหนักแบตเตอรี่แล้ว ก็ไม่แน่ใจว่าจะเป็นไปได้อย่างไร
เขาบอกว่า “ทำได้ 76.6% บน R2R-CE(Room-to-Room in Continuous Environments)” เลยสงสัยว่าช่วงที่เหลือ 23.4% มันไปทำอะไรอยู่
ถ้าดูข้อผิดพลาดด้านการนำทางในหน้าที่มีกราฟผลลัพธ์ จะเห็นตัวชี้วัดที่เกี่ยวข้องกับคำถามนี้มากที่สุด โมเดลนั้นเก่งในการ “ไม่เคลื่อนที่ไปผิดทิศทาง” ดังนั้นอัตราล้มเหลวน่าจะเป็นกรณีที่หาทางไม่เจอ
อันนี้เจ๋งจริง ๆ การที่หุ่นยนต์สามารถใช้ ทิศทางที่นิ้วชี้ไป เพื่อตัดสินใจว่าจะไปทางไหนได้ เป็นการตัดสินใจด้านการออกแบบที่ยอดเยี่ยม และโรโบติกส์ก็คือพรมแดนถัดไปจริง ๆ ทำให้เชียร์ Mistral ได้เต็มที่