OK-Robot: เฟรมเวิร์กแบบโมดูลาร์เปิดสำหรับงานหยิบและวางแบบ zero-shot ในบ้านที่มีเงื่อนไขด้วยภาษา
- OK-Robot เป็นเฟรมเวิร์กแบบโมดูลาร์เปิดสำหรับงานหยิบและวางแบบ zero-shot ที่อิงตามเงื่อนไขด้วยภาษาในสภาพแวดล้อมบ้านทั่วไป
- ในสภาพแวดล้อมบ้าน 10 แห่งในนครนิวยอร์ก OK-Robot ได้ทดลองงานหยิบและวาง 171 งาน และแสดงตัวอย่างงานจาก 5 บ้าน บ้านละ 5 งาน
ทำความเข้าใจประสิทธิภาพของ OK-Robot
- OK-Robot สามารถแสดงการทำให้ทั่วไปแบบ zero-shot ในสภาพแวดล้อมใหม่ทั้งหมดได้ แต่ได้มีการวิเคราะห์เพิ่มเติมเพื่อทำความเข้าใจสาเหตุของความสำเร็จและความล้มเหลวให้ดีขึ้น
- ในสภาพแวดล้อมบ้านใหม่ มีอัตราความสำเร็จ 58.5% แต่สาเหตุของความล้มเหลวมีลักษณะ long tail โดยสาเหตุหลัก 3 อันดับแรกคือไม่สามารถค้นหาวัตถุที่ถูกต้องจาก semantic memory ได้ (9.3%), โมดูลจัดการวัตถุไม่สามารถหาท่วงท่าที่ยากได้ (8.0%) และปัญหาฮาร์ดแวร์ (7.5%)
งานวิจัย
- ชื่อเรื่อง: "OK-Robot: อะไรคือสิ่งที่สำคัญจริง ๆ ในการบูรณาการโมเดลความรู้แบบเปิดสำหรับหุ่นยนต์"
- งานวิจัยสามารถอ่านได้ในรูปแบบ arXiv และ PDF และมีข้อมูลการอ้างอิงในรูปแบบ bibtex
โค้ด
- สามารถรับโค้ดของ OK-Robot ได้บน GitHub โดยซอร์สโค้ดเผยแพร่ภายใต้สัญญาอนุญาต MIT และเนื้อหาบนเว็บไซต์เผยแพร่ภายใต้สัญญาอนุญาต CC ANS 4.0
ความเห็นของ GN⁺
- โครงการ OK-Robot นำเสนอแนวทางใหม่ในงานหุ่นยนต์ที่ผสานความเข้าใจภาษากับการปฏิสัมพันธ์ทางกายภาพเข้าด้วยกัน
- เฟรมเวิร์กนี้อาจมีบทบาทสำคัญในการยกระดับความเป็นอิสระและความสามารถในการปรับตัวของหุ่นยนต์ในสภาพแวดล้อมบ้านจริง
- ผ่านโค้ดและงานวิจัยที่เปิดเผยไว้ นักวิจัยและนักพัฒนามีโอกาสต่อยอดเทคโนโลยีนี้และนำไปประยุกต์ใช้ในสาขาที่หลากหลาย
3 ความคิดเห็น
https://hello-robot.com/purchase
ตัวเครื่องราคา 25,000 ดอลลาร์...
ต้องมี iPhone Pro เพิ่มด้วย
แท่นชาร์จแบบด็อกราคา 995 ดอลลาร์ 5555
นี่มันราคาหลอกฟันกันชัดๆ ไหม
สถานีด็อกกิ้งนี่ทำไมราคาถึงเป็นแบบนั้นกันนะ
วิธีเชื่อมต่อก็ยังเป็นแบบเสียบคอนเน็กเตอร์ DC ตรง ๆ เลยนะครับ.. ฮ่าๆ
https://hello-robot.com/stretch-docking-station
ความคิดเห็นจาก Hacker News
หุ่นยนต์ดูเหมือนจะทำงานช้า แต่ผลการทดสอบแสดงให้เห็นว่าสามารถทำงานส่วนใหญ่ได้เร็วกว่า แม่นยำกว่า และไม่บ่นเมื่อเทียบกับคนรุ่น Gen Z
นี่เป็นความก้าวหน้าที่น่าทึ่งซึ่งอาจเปลี่ยนชีวิตของผู้พิการ ผู้สูงอายุ เกมเมอร์ คนที่ขี้เกียจอย่างมาก และผู้ดูแลพวกเขา
มีการเสนอความเป็นไปได้ในการแก้ปัญหางานระยะยาวผ่านโมเดลขนาดใหญ่ที่อิงจาก interactive fiction
มีคำถามเกี่ยวกับวิธีที่หุ่นยนต์รับรู้วัตถุ การรับรู้เมื่อไม่สามารถทำตามคำขอได้ และความสามารถในการจัดการกับวัตถุที่ถูกบัง
มีความเห็นส่วนตัวว่าอยากซื้อหุ่นยนต์ราคา 25,000 ดอลลาร์มาใช้พับและจัดเก็บผ้า
มีข้อสงสัยว่าทำไมหุ่นยนต์อเนกประสงค์จึงช้าขนาดนี้ ทั้งที่คาดหวังว่าเครื่องจักรจะทำงานได้เร็วกว่ามนุษย์ แต่ในความเป็นจริงกลับไม่เป็นเช่นนั้น
มีการกล่าวถึงหุ่นยนต์อย่าง Dobb-e
มีการแสดงความคาดหวังว่าหากติดตามความคืบหน้าของโครงการต่อไป และมีการผสานเข้ากับอุปกรณ์ช่วยการเคลื่อนไหว ก็อาจสร้างความเปลี่ยนแปลงครั้งใหญ่ให้กับผู้ที่มีข้อจำกัดทางร่างกาย
การวิเคราะห์ความล้มเหลวทำได้ดี และมีความสงสัยเพิ่มเติมว่าความล้มเหลวของฮาร์ดแวร์ถูกตัดสินอย่างไร เช่น ในการทดสอบ 5 ครั้งที่ "Realsense ให้ค่าความลึกผิดพลาด"
ต้องการยานพาหนะบนแพลตฟอร์มที่ทรงตัวด้วยไจโรสโคป และถามว่ามีโซลูชันที่สามารถวิ่งบนทางขรุขระพร้อมขนเครื่องดื่มและของกินเล่นได้หรือไม่