ความก้าวหน้าของ AGI หยุดชะงัก ต้องการแนวคิดใหม่
การประกาศ ARC Prize
- ARC Prize: การแข่งขันชิงเงินรางวัลมากกว่า 1 ล้านดอลลาร์เพื่อขับเคลื่อน AGI แบบเปิด
- เป้าหมาย: กระตุ้นความก้าวหน้าของ AGI ผ่านแนวคิดใหม่ ๆ และแก้การประเมิน ARC-AGI
ปัญญากับการท่องจำ
- AI สมัยใหม่: ส่วนใหญ่ทำงานโดยจดจำแพตเทิร์นความซับซ้อนสูงและนำไปใช้กับสถานการณ์ที่คล้ายกัน
- ปัญหา: ไม่สามารถสร้างการให้เหตุผลใหม่สำหรับสถานการณ์ใหม่ได้
- ปัญญาทั่วไป: ความสามารถในการเรียนรู้ทักษะใหม่ได้อย่างมีประสิทธิภาพ
- ความจำเป็น: ต้องการสถาปัตยกรรมหรืออัลกอริทึมแบบใหม่
ข้อจำกัดของ LLM
- ระบบ AI แบบเดิม: อาจเอาชนะมนุษย์ในเกมเฉพาะทางได้ แต่ไม่สามารถย้ายไปเล่นเกมอื่นได้
- ความล้มเหลวในการทำให้ทั่วไป: AI ไม่สามารถปรับตัวเข้ากับสถานการณ์ใหม่ได้
ARC-AGI
- แนะนำ: เปิดตัวในบทความของ François Chollet เรื่อง "On the Measure of Intelligence"
- เป้าหมาย: ประเมินระบบที่สามารถเรียนรู้ทักษะใหม่ได้อย่างมีประสิทธิภาพและแก้ปัญหาใหม่ได้
- สถานะปัจจุบัน: มนุษย์ได้คะแนน 85%~100% แต่ AI ทำได้เพียง 34%
ความก้าวหน้าของ AGI แบบโอเพนซอร์ส
- ปัญหา: หลัง GPT-4 งานวิจัย AGI กลายเป็นแบบปิดมากขึ้น
- ประวัติ: ความก้าวหน้าของ LLM เป็นผลลัพธ์จากความร่วมมือของนักวิจัยจำนวนมาก
- ความจำเป็น: ต้องมีโอเพนซอร์สเพื่อกระตุ้นแนวคิดใหม่
เป้าหมายของ ARC Prize
- เพิ่มการมีส่วนร่วมในการวิจัย: เพิ่มจำนวนผู้ที่เข้าร่วมงานวิจัย AGI
- วัดความก้าวหน้าของ AGI: ทำให้วิธีวัดความก้าวหน้าของ AGI อย่างเป็นกลางเป็นที่แพร่หลาย
- แก้ ARC-AGI: แก้การประเมิน ARC-AGI และเรียนรู้สิ่งใหม่เกี่ยวกับธรรมชาติของปัญญา
เริ่มต้น
- วิธีเข้าร่วม: ใครก็เข้าร่วมได้ และแนวคิดใหม่อาจมาจากที่ไหนก็ได้
- ข้อมูลที่ให้: ให้รายละเอียดรูปแบบและเงินรางวัลของ ARC Prize 2024
ความเห็นของ GN⁺
- ความสำคัญของโอเพนซอร์ส: โอเพนซอร์สมีความสำคัญต่อการกระตุ้นนวัตกรรมและลดช่องว่างระหว่างบริษัท AI ขนาดเล็กกับบริษัท AI ขนาดใหญ่
- ความจำเป็นของแนวคิดใหม่: งานวิจัย AI ในปัจจุบันขาดแนวคิดใหม่ และสิ่งนี้ขัดขวางความก้าวหน้าของ AGI
- ประเด็นด้านกฎระเบียบ: ความเชื่อที่ผิดอาจทำให้กฎระเบียบต่อการวิจัย AI เข้มงวดขึ้น
- ข้อดีของการแข่งขัน: การแข่งขันอย่าง ARC Prize สามารถสร้างแรงจูงใจให้นักวิจัยและกระตุ้นแนวคิดใหม่ได้
1 ความคิดเห็น
ความเห็นจาก Hacker News
Simon Strandgaard เข้าร่วม ARCathon 2022 และ 2023 โดยแก้โจทย์ได้ 3 ข้อและ 8 ข้อตามลำดับ กำลังเก็บข้อมูลว่ามนุษย์แก้โจทย์ ARC อย่างไร และตอนนี้รวบรวมบันทึกการโต้ตอบได้ 4,100 รายการแล้ว อีกทั้งยังมีชุดข้อมูลลักษณะคล้าย ARC หลายชุดให้ใช้งานด้วย
มีความเห็นว่ากระบวนทัศน์การเรียนรู้แบบยึดข้อมูลเป็นศูนย์กลางในปัจจุบันไม่สามารถทำให้เกิดการทั่วไปได้และไม่ยั่งยืน มนุษย์สามารถแยกแมวกับสุนัขได้โดยไม่ต้องมีตัวอย่างนับพัน แต่คอมพิวเตอร์ต้องใช้ตัวอย่างนับล้าน ในสาขาที่ข้อมูลหายาก การถ่ายทอดความรู้อาจทำได้ยาก
ปัญหา ARC ต้องอาศัยความรู้เกี่ยวกับโลกเชิงพื้นที่จำนวนมาก และมีองค์ประกอบที่สอดคล้องกับการประมวลผลภาพของมนุษย์โดยสัญชาตญาณมากกว่าการให้เหตุผลเชิงนามธรรม การจดจำแพตเทิร์นภาพมีบทบาทสำคัญ
มีข้อโต้แย้งว่าแม้แต่มนุษย์เองก็ยังมองว่าการทดสอบ ARC ยาก ในการทดสอบ ConceptARC มนุษย์ 25-30% ไม่สามารถแก้คำถามง่าย ๆ ได้ ซึ่งอาจจำกัดประโยชน์ใช้สอยของ ARC
มีคนสงสัยว่ามีกระดานผู้นำสำหรับการแข่งขันเวอร์ชันที่ไม่จำกัดข้อกำหนดหรือไม่ และอยากเห็นผลลัพธ์ของ GPT-4
มีความเห็นว่าเงินรางวัล 1 ล้านดอลลาร์สำหรับงานวิจัย AGI นั้นน้อยเกินไป ผลกระทบของ AGI น่าจะประเมินกันอย่างต่ำในระดับหลายล้านล้านดอลลาร์ และเงินรางวัลปัจจุบันอาจเพียงพอแค่สำหรับการปรับจูน open LLM รุ่นล่าสุดเท่านั้น
มีความเห็นว่าสำหรับปริศนาบางข้ออาจมีคำตอบที่ใช้ได้มากกว่าหนึ่งแบบ จากตัวอย่างอาจไม่สามารถรู้ระยะทางที่คาดหวังได้อย่างแม่นยำ
มีความเห็นว่าแม้โจทย์ ARC จะมุ่งไปที่การจดจำแพตเทิร์นภาพ แต่นั่นไม่อาจเป็นนิยามเดียวของสติปัญญาได้ สติปัญญาแบบความร่วมมือระหว่างมนุษย์กับ AI มีความสำคัญ และควรปรับกรอบปัญหาใหม่ให้เป็นการเพิ่มประสิทธิภาพของเป้าหมายหลายคุณลักษณะ
มีความเห็นว่าบทความของ François Chollet ให้มุมมองที่ลึกซึ้งมาก และให้คำตอบที่ดีที่สุดเกี่ยวกับนิยามของปัญญาทั่วไป การนิยามสติปัญญาด้วยประสิทธิภาพในการเรียนรู้ช่วยให้เข้าใจได้ว่าทำไมสติปัญญาของมนุษย์จึงน่าทึ่ง
มีความเห็นว่าชุดปัญหา ARC ยากกว่าชุดปัญหา ML แบบเดิมมาก แต่ก็ไม่ได้เป็นตัวแทนของ AGI มันเป็นเพียงชุดข้อมูลใหม่เท่านั้น และแนวทางเข้าถึงก็ยังคล้ายเดิม AGI อาจแก้ปัญหานี้ได้ แต่การแก้ได้ไม่ได้เป็นตัวชี้วัดรับประกันว่าเป็น AGI