ARC Prize การแข่งขันมูลค่ากว่า 15 ล้านบาท+ เพื่อ Open AGI
(arcprize.org)- ARC Prize คือการแข่งขันมูลค่ามากกว่า ประมาณ 1 ล้านดอลลาร์ ($1m) ที่มุ่งเป้าไปยังผู้เข้าร่วมซึ่งสามารถเอาชนะ การประเมิน ARC-AGI และเปิดซอร์สโซลูชันของตน
- ประเด็นตั้งต้นคือ LLM สมัยใหม่ใกล้เคียงกับ เอนจินการท่องจำ ที่นำแพตเทิร์นมิติสูงจากข้อมูลฝึกไปใช้กับบริบทใกล้เคียง มากกว่าจะสร้างการให้เหตุผลใหม่ในสถานการณ์ใหม่ได้
- คะแนน SOTA ของ ARC-AGI ยังอยู่ที่ 34% ในปัจจุบัน จาก 20% ในปี 2019 สะท้อนว่าโจทย์ที่มนุษย์และเด็กเรียนรู้ได้อย่างรวดเร็ว ยังยากสำหรับ AI สมัยใหม่
- มีนัยวิจารณ์ว่าเมื่อรายงานทางเทคนิคของ GPT-4 และ Gemini ไม่เปิดเผยรายละเอียดสำคัญ งานวิจัย frontier AGI จึงมีแนวโน้มปิดมากขึ้น และการลงทุนที่เน้น LLM ก็ทำให้ความสนใจต่อการวิจัยสถาปัตยกรรมและอัลกอริทึมใหม่ลดลง
- ARC Prize เป็นความพยายามที่จะทำให้นักวิจัยจำนวนมากขึ้นสามารถวัดความก้าวหน้าของ AGI ได้อย่างเปิดเผย และได้เรียนรู้ใหม่ว่ากลไกของ ปัญญาทั่วไป ทำงานอย่างไรผ่านกระบวนการแก้ ARC-AGI
เงื่อนไขที่ ARC Prize ตั้งไว้
- ARC Prize คือการแข่งขันมูลค่ากว่า 1 ล้านดอลลาร์ที่มีเป้าหมายเพื่อ การพัฒนา Open AGI
- เงื่อนไขหลักคือการผ่าน การประเมิน ARC-AGI และเปิดซอร์สโซลูชันนั้น
- ผู้จัดคือ Mike Knoop และ François Chollet โดยมี Infinite Monkey และ Lab42 ร่วมด้วย
เส้นแบ่งระหว่างการท่องจำกับปัญญาทั่วไป
- AI สมัยใหม่ โดยเฉพาะ LLM มีความสามารถสูงในการจดจำ แพตเทิร์นมิติสูง ในข้อมูลฝึก และนำไปใช้กับบริบทใกล้เคียง
- แม้แต่ความสามารถในการให้เหตุผลที่เห็นภายนอก ก็มีมุมมองว่าเป็นการจดจำแพตเทิร์นการให้เหตุผลแล้วนำไปใช้ในบริบทคล้ายกัน ไม่สามารถสร้างการให้เหตุผลใหม่ในสถานการณ์ใหม่ได้
- ในเบนช์มาร์กที่อิงการท่องจำอย่าง MMLU, GSM8K, ImageNet และ GLUE ประสิทธิภาพสามารถ “ซื้อ” ได้ด้วยข้อมูลฝึกที่มากขึ้น
- ปัญญาทั่วไป คือความสามารถในการเรียนรู้ทักษะใหม่ได้อย่างมีประสิทธิภาพ และการท่องจำเพียงอย่างเดียวทำให้ไปถึงปัญญาทั่วไปได้ยาก
- มองว่าการขยายขนาดอย่างเดียวทำให้ LLM เรียนรู้ทักษะใหม่ได้ยาก และจำเป็นต้องมีสถาปัตยกรรมหรืออัลกอริทึมใหม่ที่สามารถเรียนรู้ได้ในช่วงเวลาทดสอบ
ข้อจำกัดด้านการทำให้ทั่วไปที่ AI เกมเผยให้เห็น
- มีระบบ AI ที่เอาชนะมนุษย์ในโป๊กเกอร์ หมากรุก และโกะ ได้มานานแล้ว
- แต่ระบบที่ฝึกให้สำเร็จในเกมหนึ่ง ไม่สามารถนำไปฝึกใหม่อย่างง่ายเพื่อใช้อีกเกมหนึ่งได้ และนักวิจัยต้องออกแบบและสร้างระบบใหม่สำหรับแต่ละเกม
- สถานการณ์นี้ถูกตีความว่าเป็น ความล้มเหลวของการทำให้ทั่วไป
- หากขาดความสามารถนี้ AI ก็จะยังถูกจำกัดด้วยปัญญาทั่วไปของมนุษย์ที่อยู่ในลูปต่อไป
ความสามารถที่ ARC-AGI พยายามวัด
- ARC-AGI คือการประเมินที่แนะนำไว้ในบทความของ François Chollet เรื่อง On the Measure of Intelligence
- การประเมินนี้พยายามวัด ปัญญาทั่วไป ของระบบที่สามารถเรียนรู้ทักษะใหม่ได้อย่างมีประสิทธิภาพ และแก้ปัญหาใหม่ที่เปิดกว้างได้
- คะแนน SOTA สูงสุดของ ARC-AGI ในปี 2019 คือ 20% และปัจจุบันคือ 34%
- มนุษย์และเด็กสามารถเรียนรู้โจทย์ได้อย่างรวดเร็ว แต่สำหรับ AI สมัยใหม่ ARC-AGI ยังยากมาก
- เบนช์มาร์ก AI จำนวนมากทดสอบความสามารถในการท่องจำ จึงอิ่มตัวอย่างรวดเร็วเมื่อถึงระดับสมรรถนะใกล้มนุษย์
- ARC-AGI ถูกออกแบบมาให้ต้านทานการท่องจำ และยังคงเป็นการประเมินที่ยากทั้งสำหรับโมเดล Transformer ฐานขนาดใหญ่ที่สุดและระบบ AI เฉพาะทางสำหรับ ARC-AGI
- มีมุมมองว่าโซลูชันของ ARC-AGI อาจเปิดกระบวนทัศน์การเขียนโปรแกรมใหม่ที่ทำให้โปรแกรมสามารถทำให้ทั่วไปได้อย่างสมบูรณ์และเสถียรจากชุดความรู้ล่วงหน้าแบบใดก็ได้
งานวิจัย frontier AI ที่กำลังปิดมากขึ้น
- มองว่านับตั้งแต่การเปิดตัว GPT-4 เป็นต้นมา ความก้าวหน้า frontier AGI ได้เปลี่ยนไปสู่กระแสแบบปิดซอร์ส
- GPT-4 technical report ไม่ได้ใส่รายละเอียดทางเทคนิคไว้ และ OpenAI ให้เหตุผลข้อแรกว่าเป็นเรื่อง “การแข่งขัน”
- Gemini technical report ของ Google ก็ไม่ได้ใส่รายละเอียดทางเทคนิคของนวัตกรรม frontier ที่เกี่ยวกับ context window ขนาดยาว
- LLM ได้ดึงความสนใจด้านการวิจัยเกี่ยวกับสถาปัตยกรรมใหม่และอัลกอริทึมใหม่ไปอย่างมาก
- ในปี 2023 มีเงินมากกว่า 2 หมื่นล้านดอลลาร์ ถูก投入ในบริษัท AI ที่ยังไม่ใช่ AGI และนักวิจัย frontier ของ DeepMind จำนวนมากถูกย้ายไปทำ Gemini เพื่อแข่งขันกับ OpenAI
บทบาทของงานวิจัยแบบเปิดที่ประวัติศาสตร์ Transformer แสดงให้เห็น
- สถาปัตยกรรม Transformer เกิดขึ้นจากการสั่งสมของงานวิจัยหลายชิ้นในสายงานวิจัยด้าน machine translation
- ในปี 2014 Sutskever และคณะเผยแพร่ Seq2Seq Learning ที่ Google โดยใช้ RNN และ CNN
- ในปี 2016 Bahdanau และคณะทำให้ แนวคิด attention แพร่หลาย เพื่อให้สามารถพิจารณาส่วนต่าง ๆ ของอินพุตเมื่อทำนายเอาต์พุต
- ในปี 2017 Vaswani และคณะใน Attention Is All You Need ตัด RNN และ CNN ออก พร้อมปรับสถาปัตยกรรมให้เหมาะสม จนเปิดทางสู่การขยายขนาดแบบใหม่
- ในปี 2018 Radford และคณะสร้าง GPT-2 บนสถาปัตยกรรม Transformer ในสเกลระดับ frontier และแสดงความสามารถแบบเกิดขึ้นใหม่
- กระแสนี้แสดงให้เห็น กระบวนการของวิทยาศาสตร์ ที่นักวิจัยจากห้องแล็บและทีมต่าง ๆ เปิดเผยผลลัพธ์ แล้วให้นักวิจัยคนอื่นนำไปต่อยอดอีกที
เป้าหมายและช่องทางเข้าร่วม
- ARC Prize มีเป้าหมาย 3 ประการ
- เพิ่มจำนวนผู้คนที่เข้าร่วมวิจัย frontier AGI
- ทำให้ มาตรฐานเชิงวัตถุวิสัย สำหรับวัดความก้าวหน้าของ AGI เป็นที่แพร่หลาย
- แก้ ARC-AGI และเรียนรู้ใหม่เกี่ยวกับธรรมชาติของสติปัญญา
- สามารถดูรูปแบบการแข่งขันและรายละเอียดเงินรางวัลได้ที่ ARC Prize 2024
- วิธีเริ่มต้นแก้ ARC-AGI ดูได้ที่ guide
- วิธีที่ ARC-AGI วัดปัญญาทั่วไป ดูได้ที่หน้า ARC-AGI
- ความคืบหน้าและโซลูชัน SOTA จะอัปเดตผ่าน X/Twitter, YouTube, Email, Discord
1 ความคิดเห็น
ความคิดเห็นบน Hacker News
ผมคือ Simon Strandgaard และเคยแก้โจทย์ได้ 3 ข้อใน ARCathon 2022 และ 8 ข้อใน ARCathon 2023
ผมกำลังรวบรวมข้อมูลว่าผู้คนแก้โจทย์ ARC กันอย่างไร และจนถึงตอนนี้ได้เก็บบันทึกการโต้ตอบมาแล้ว 4,100 รายการ (https://github.com/neoneye/ARC-Interactive-History-Dataset)
นอกจาก ARC-AGI แล้วยังมีชุดข้อมูลที่คล้าย ARC อื่น ๆ ด้วย และสามารถลองทำได้ในเอดิเตอร์ของผม (https://neoneye.github.io/arc/)
ถ้าเล่นบันทึกการโต้ตอบย้อนหลัง จะเห็นว่าแต่ละคนมีวิธีเข้าถึงปัญหาต่างกัน นี่เป็นการเล่นที่ 100ms ต่อหนึ่งการโต้ตอบ ส่วนคนจริง ๆ ไม่ได้แก้เร็วขนาดนั้น
https://www.youtube.com/watch?v=vQt7UZsYooQ
เวลาผมแก้โจทย์ ARC ด้วยมือจะออกมาประมาณนี้ และจะเห็นด้วยว่าค่อนข้างช้า
https://www.youtube.com/watch?v=PRdFLRpC6dk
สิ่งที่แปลกคือ วิธีสร้างตัวแก้สำหรับโจทย์ ARC เฉพาะข้อหนึ่งนั้นค่อนข้างต่างจากวิธีแก้ปริศนาด้วยมือ ต้องจัดการกรณียกเว้นสารพัดแบบ
ขอขอบคุณทีม ARC Prize อย่างมาก
นี่เจ๋งมากจริง ๆ ผมเห็นด้วยกับสัญชาตญาณของ François ว่า พาราไดม์การเรียนรู้ที่กินข้อมูลจำนวนมาก ในปัจจุบันทั้งทำ generalization ได้ไม่ดีนักและไม่ยั่งยืน
มนุษย์ไม่ต้องการตัวอย่าง 10,000 ตัวอย่างเพื่อแยกแมวกับสุนัข และเหตุผลหลักที่คอมพิวเตอร์ทำสิ่งนั้นได้ในปัจจุบันก็เพราะมีตัวอย่างนับล้าน
ดังนั้นการถ่ายโอนความรู้ไปยังโดเมนที่ยากกว่า ซึ่งข้อมูลแพง หายาก และสังเคราะห์ได้ยาก อาจทำได้ลำบาก
ถ้าจะวิจารณ์สักอย่าง แบบทดสอบส่วนใหญ่นี้ดูเหมือนเป็นการให้เหตุผลบนข้อมูลครบถ้วนจากมุมมองทฤษฎีเกม แต่ปัญหาที่ยากกว่าจำนวนมากที่เราพบเจอนั้นมี ข้อมูลที่ซ่อนอยู่
โป๊กเกอร์และการเจรจาเป็นตัวอย่างของการแก้ปัญหาในสถานการณ์ข้อมูลไม่สมบูรณ์ และการรับมือกับสถานการณ์ทางสังคมได้อย่างราบรื่นก็ต้องอาศัยการจัดการปัญหาที่เกี่ยวข้องกับข้อมูลที่ซ่อนอยู่เช่นกัน
หนึ่งในสิ่งที่น่าสนใจจริง ๆ ที่มนุษย์ทำได้คือ รับกฎของเกมแล้วสร้างกลยุทธ์ขึ้นมา มีอัลกอริทึมที่เรียนรู้โกะหรือหมากรุกได้เอง แต่อัลกอริทึม self-play แบบเดียวกันใช้ไม่ได้กับเกมที่มีข้อมูลซ่อนอยู่
ระบบปัญญาทั่วไปควรมีความสามารถในการสังเคราะห์ตัวแก้ปัญหาแบบทั่วไปสำหรับสถานการณ์เช่นนั้นด้วย
อาจจะไม่ถึง 10,000 ตัวอย่าง แต่ผมว่าก็น่าจะระดับหลายร้อย หรืออาจถึงหลายพัน
เด็ก ๆ จะขอให้ยืนยันว่าการเดาของตัวเองถูกไหม แม้จะอ่านหนังสือเล่มเดิมที่อ่านมาแล้ว 50 รอบ ก็ยังชี้ไปที่สุนัขในภาพแล้วถามว่า “หมา?” และช่วงพัฒนาการแบบนั้นก็ดำเนินไปค่อนข้างนาน
ถ้าป้ายกำกับที่คาดไว้ไม่ตรงกับวัตถุ ก็อาจโมโหด้วย เช่น ลูกชายผมจะโกรธมากถ้ามีใครเรียกสีผิด
เด็กเล็กยังชอบเล่นตั้งชื่อผิด ๆ โดยตั้งใจด้วย ถ้าชี้ไปที่ปลาแล้วพูดว่า “ลามะสวยจัง!” เด็กจะขำจนล้มกลิ้ง
พัฒนาการของสมองมนุษย์ ช้ามาก[1] และความรู้สึกเรื่องเวลาแบบเป็นเส้นตรงก็ยังไม่มีอยู่เป็นเวลาค่อนข้างนาน แม้อายุสามขวบ ทุกอย่างก็ยังเป็นอย่างใดอย่างหนึ่งในเมื่อวาน วันนี้ หรือพรุ่งนี้
เด็ก ๆ รวบรวมข้อมูลผ่านประสาทสัมผัสหลายทาง เก็บข้อมูลด้วยความเร็วเหลือเชื่อวันละ 12–14 ชั่วโมง แล้วพัก 10–12 ชั่วโมงเพื่อประมวลผลข้อมูลนั้น
[1] ดูได้จากการที่ทารกค้นพบว่าตัวเองมีเท้าขวา แล้วอีกไม่กี่วันต่อมาก็รู้ว่ามีเท้าซ้ายด้วย หรือเห็นเด็กที่กำลังเรียนรู้การยืน ชนหัวกับใต้โต๊ะอยู่หลายครั้งก่อนจะสร้างความรู้สึกเรื่อง “ด้านบนของตัวเอง” ขึ้นมาได้ ที่เด็กเรียนรู้ได้ “เร็ว” นั้นใกล้เคียงกับความหมายว่าเป็นเวลาหลายปีที่พวกเขาแทบไม่มีอะไรอื่นให้ทำ
พูดอีกอย่างคือ LLM ถูก pre-train แทบจะตั้งแต่ศูนย์ด้วย prior knowledge ที่อ่อนมาก แต่สมองมนุษย์มี prior knowledge ที่แข็งแกร่งอย่างยิ่งติดตั้งมาไว้ล่วงหน้า
เช่น แค่มีคำอธิบายว่า “สุนัขล่าสัตว์ด้วยการติดตามและไล่ล่าเป็นเวลานานจนเหยื่อเหนื่อยล้า ส่วนแมวรอโอกาสและโจมตีด้วยความลับล่อกับความคล่องแคล่ว” แม้คนที่ไม่เคยเห็นสุนัขหรือแมวมาก่อนก็มีแนวโน้มจะดูสัตว์ทั้งสองแล้วเดาได้ว่าตัวไหนเป็นตัวไหนจากรูปแบบการปรับตัว
นี่อาจเป็นแบบทดสอบที่น่าสนใจสำหรับ AI แต่ผมยังไม่แน่ใจว่าจะจัดโครงสร้างให้เป็นการประเมินอย่างไร
แนวคิดที่เรียกว่า ARC นั้นดีมากจริง ๆ แต่โจทย์ดูเหมือนจะต้องอาศัยความรู้เกี่ยวกับโลกเชิงพื้นที่มากกว่า การให้เหตุผลเชิงนามธรรม อยู่มาก
เป็นเรื่องของรูปทรงที่ซ้อนทับกัน บรรจุกัน ตัดชิ้นส่วนแล้วประกอบกลับใหม่ และการลบสัญญาณรบกวนออกจากรูปทรงเรขาคณิตที่เป็นแบบแผน
อาจเรียกสิ่งนี้ว่า “ความรู้แกนกลาง” ได้ก็จริง แต่สำหรับผม มันดูใกล้เคียงกับ “สิ่งที่เป็นสัญชาตญาณต่อการประมวลผลภาพของมนุษย์” มากกว่า
คนที่มีสติปัญญาแต่มีความบกพร่องทางการมองเห็นจะสามารถแก้โจทย์เหล่านี้ได้ไหม?
ที่เรากังวลว่าอาจต้องใช้ตัวอย่างมากกว่า 800 ตัวอย่าง ไม่ใช่เพราะการให้เหตุผลเชิงนามธรรมยากเกินไป แต่เพราะโจทย์ต้องการ ความรู้เชิงพื้นที่ ซึ่งมนุษย์ที่ฉลาดเรียนรู้มาจากตัวอย่างการฝึกฝนมากกว่า 800 ตัวอย่างอย่างมาก
ถ้าการทดสอบนี้เป็นตัวแทนของโดเมนที่มนุษย์ทำได้ดีกว่า AI มาก ก็เป็นการทดสอบที่มีประโยชน์ เพราะ AI ด้อยกว่ามนุษย์อย่างชัดเจนในหลายโดเมน แต่กลับผ่านการทดสอบเดิม ๆ ได้หมดแล้ว เราจึงต้องการการทดสอบแบบนี้มากขึ้น
ควรอนุญาตให้มี การฝึกล่วงหน้า บนข้อมูลแบบไม่จำกัดได้ การทำให้ทั่วไปจากข้อมูลที่หาได้ง่ายไปสู่โจทย์ทดสอบ ก็คือสิ่งที่มนุษย์ทำอยู่แล้ว
ผมมั่นใจว่าถ้าแปลสีให้เป็นสัมผัสทางกาย คนตาบอดก็แก้ได้ คนตาบอดก็เข้าใจความสัมพันธ์เชิงพื้นที่เช่นกัน
ถ้านิยาม AGI อย่างน้อยในระดับมนุษย์ AGI ก็ควรแก้ระดับนี้ได้โดยไม่ต้องดูตัวอย่างเพิ่ม
ดูเหมือนจะไม่มีกฎว่าเราสามารถฝังความรู้หรือประสบการณ์แบบใดลงในวิธีแก้ได้บ้าง
ผมชอบเป้าหมายของโปรเจกต์นี้ น่าจะลองดู เอนจินการให้เหตุผล รุ่นก่อน ๆ ที่พยายามสร้างสามัญสำนึก เช่น Cyc และ OpenMind
รายการเป้าหมายของ AGI ในส่วนที่ 2 ของบทความนี้ก็อาจช่วยได้
https://arxiv.org/pdf/2308.04445
ตอนศึกษาภาพรวมการทำงานของสมอง ก็เห็นด้วยว่าหลายบริเวณเชื่อมต่อกับฮิปโปแคมปัส ฮิปโปแคมปัสอาจทำได้ทั้งการเก็บแนวคิดที่เป็นกลางต่อประสาทสัมผัส และการสร้างโมเดลภายในหรือโมเดลโดยประมาณของโลกภายนอก
อย่างแรกช่วยเชื่อมโยงแนวคิดผ่านประสาทสัมผัสหลายแบบ ส่วนอย่างหลังช่วยในการวางแผนเมื่อจินตนาการ ประเมิน และทำซ้ำความเป็นไปได้ต่าง ๆ
AGI น่าจะต้องมี คุณลักษณะคล้ายฮิปโปแคมปัส แบบนี้ รวมถึงคุณลักษณะที่อยู่ในบทความของ Cyc ด้วย เราสามารถทดสอบได้ว่าโครงสร้างแบบใดทำสิ่งนั้นได้ในเชิงทฤษฎีหรือในระดับเล็ก
และไม่ควรถูกผูกไว้กับอินพุตประสาทสัมผัสเพียงชนิดเดียว อย่างน้อยต้องมีสองชนิด และต้องสามารถกระทำตามสิ่งที่มีอยู่เฉพาะด้านหนึ่งหรือมีอยู่ทั้งสองด้านได้
เด็ก ๆ เองก็ทำการเรียนรู้แบบไม่มีผู้สอนจากข้อมูลภาพและพื้นที่ในปริมาณมหาศาล ได้รับการเรียนรู้แบบเสริมกำลังผ่านการเล่น และได้รับการเรียนรู้แบบมีผู้สอนจากพ่อแม่ด้วย ถ้าเป็นเบนช์มาร์กที่สมจริง ก็อาจต้องมีการฝึกล่วงหน้าระดับ GB ในทำนองเดียวกัน
ตัวอย่างเช่น ลองดูรูปทรงที่บรรจุกัน หากสองประเทศอ้างสิทธิ์ในดินแดนเดียวกัน ก็เท่ากับมีเซต X ที่มี Y อยู่ข้างใน และเซต Z ที่มี Y อยู่ข้างใน
หากส่วนซ้อนทับร่วมกันเป็นสามมิติและสิ่งหนึ่งอยู่เหนืออีกสิ่งหนึ่ง ก็สามารถขยายได้ว่า X มี -Y และ Z มี Y เหมือนกับที่ขึ้นอยู่กับตำแหน่งที่ยืน เราอาจเห็นได้แค่สิ่งที่อยู่ด้านบนและไม่สามารถเห็นทั้งสองอย่างพร้อมกัน จึงพูดได้ว่า X และ Z ไม่สามารถมีอยู่พร้อมกัน ดังนั้นถ้าเป็น X ก็เป็น -Y และถ้าเป็น Z ก็เป็น Y
หากพิจารณาภาษาที่เราใช้อย่างระมัดระวัง จะเห็นว่าเราใช้ความสัมพันธ์เชิงพื้นที่มากเพียงใด แม้ในการอธิบายสิ่งที่เป็นนามธรรมอย่างสมบูรณ์ เช่น เราอาจพูดถึงเศรษฐกิจมหาอำนาจที่กำลังพังทลาย ซึ่งเป็นสำนวนทำนองว่าสิ่งที่ซ้อนทับกันอยู่ด้านบนหายไปและกลับไปยังที่ที่มันมาจากเดิม
สุดท้ายแล้ว เรากำลังให้เหตุผลเกี่ยวกับสิ่งต่าง ๆ ที่เกิดขึ้นในเวลาและพื้นที่
และพื้นที่ไม่ใช่สิ่งเดียวกับการมองเห็น แม้มีความบกพร่องทางการมองเห็น ก็ยังต้องให้เหตุผลเชิงพื้นที่ เพราะชุดข้อเท็จจริงใด ๆ ก็ตามล้วนเป็นข้อเท็จจริงในกาลอวกาศ
หากต้องการเข้าใจประวัติศาสตร์ ก็ต้องเข้าใจผู้คนในพื้นที่ ผู้คนที่อาศัยอยู่ในระยะห่างต่างกัน และการผลิตสินค้าด้วยกระบวนการทางกายภาพในตำแหน่งต่าง ๆ ของโลก รวมถึงการแลกเปลี่ยนทางกายภาพ
หากต้องการเข้าใจการรบ ก็ต้องเข้าใจว่ากองทัพถูกจัดวางทางกายภาพอย่างไร การเคลื่อนย้ายเสบียงทำงานอย่างไร สภาพอากาศ อาวุธและรูปทรงทางกายภาพของมันเปิดโอกาสให้ทำอะไรได้จริง
แม้แต่ LLM ซึ่งเป็นความก้าวหน้าที่ใหญ่ที่สุดในปัญญาประดิษฐ์ ทำอะไรอยู่? มันคือการเข้ารหัสโทเค็นลงใน พื้นที่หลายมิติ
ความสัมพันธ์เชิงพื้นที่ก็เป็นเพียงความสัมพันธ์เชิงตรรกะอีกแบบหนึ่ง และถ้าเป็น AGI ก็ควรสามารถวิเคราะห์ความสัมพันธ์และสร้างอัลกอริทึมสำหรับแก้ปัญหาได้ทันที
การที่มนุษย์อาจมีอคติหลายอย่าง ไม่ได้หมายความว่าอคติเหล่านั้นมีอยู่ในปัญญาทุกรูปแบบ
คำกล่าวที่ว่าการทดสอบนี้ง่ายสำหรับมนุษย์ดูน่าสงสัย ผมเลยลองไปค้นดูเล็กน้อย Melanie Mitchell เข้าร่วมในเธรดของ Chollet และโพสต์การทดสอบที่เกี่ยวข้องชื่อ ConceptARC
ในนั้นตั้งคำถามว่าการทดสอบของ Chollet ง่ายจริงหรือไม่ “ข้อจำกัดอย่างหนึ่งของ ARC ในแง่ที่มีประโยชน์ต่อการวิจัย AI คือมันอาจยากเกินไป งานจำนวนมากในคลังข้อมูลของ Chollet นั้นยากแม้กระทั่งสำหรับมนุษย์ และทั้งคลังข้อมูลอาจยากเกินไปสำหรับเครื่อง จนอาจไม่เผยให้เห็นความก้าวหน้าที่แท้จริงในการได้มาซึ่งความรู้แกนหลัก”
ConceptARC ถูกออกแบบให้ทำได้ง่ายกว่า แต่ก็ยังต้องคัดผู้เข้าสอบของตนเองออกประมาณ 15% ด้วยเหตุผลว่า “แก้งานอย่างน้อยสองข้อไม่ได้ หรือส่งคำอธิบายว่างเปล่าหรืออธิบายแบบไม่สมเหตุสมผล”
แม้หลังจากคัดออกแบบนี้แล้ว ConceptARC ยังพบอัตราความล้มเหลวของมนุษย์ในโจทย์หลักเพิ่มอีกประมาณ 10–15% เท่ากับว่าแม้แต่โจทย์ที่ง่ายกว่าซึ่งสร้างมาเพื่อทดสอบ “AGI” ก็ยังมี 25–30% ที่แก้ไม่ได้
ในผลลัพธ์หลักของ ConceptARC นั้น CG4 ได้คะแนนต่ำกว่ามนุษย์ที่ผ่านการคัดกรองมาก และสอดคล้องกับผลทดสอบ [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... ที่ให้ IQ=85 ด้วย
Chollet กับ Mitchell อาจแบ่งชั้นกลุ่มมนุษย์เพื่อประเมิน IQ แล้วนำไปเทียบกับค่าที่ Mensa วัดได้ และดูได้เช่นกันว่า Claude3@IQ=100 สอดคล้องกับคะแนน ARC ของมนุษย์เฉลี่ยอย่างไร
[ConceptArc]https://arxiv.org/pdf/2305.07141
“มนุษย์สามารถอนุมานโปรแกรมพื้นฐานและสร้างเอาต์พุตทดสอบที่ถูกต้องสำหรับตัวอย่างอินพุตทดสอบใหม่ได้ โดยแก้ได้เฉลี่ย 84% ของงาน ต่อผู้เข้าร่วมหนึ่งคน”
ไม่ก็ผมโง่กว่าที่คิดมาก หรือไม่ก็ระบบตรวจคำตอบควรทำให้ดีกว่านี้
ถ้ารับคำกล่าวนั้นตามตรง หากไม่มีโมเดลปัจจุบันตัวใดทำคะแนนได้แม้แต่ครึ่งหนึ่งของมนุษย์เฉลี่ย ก็ชัดเจนว่าการทดสอบนี้กำลังวัดความแตกต่างสำคัญบางอย่าง
อาจมีความเห็นต่างได้ว่าโจทย์ ARC เป็นตัวอย่างแทนของโปรแกรมนามธรรมทั้งหมดที่ประกอบขึ้นได้หรือไม่ แต่สุดท้าย LLM ส่วนใหญ่ก็เรียนรู้จากข้อมูลของมนุษย์อยู่ดี
ผมเห็นด้วยกับเจตนาของการแข่งขัน แต่เมื่อคิดว่าในการแข่งขัน AGI มีเงินลงทุนไปแล้วหลายหมื่นล้านดอลลาร์ และต่อไปจะมีเงินไหลเข้าไปมากกว่านี้อีกมาก เงินรางวัล 1 ล้านดอลลาร์ ก็ดูต่ำไปหน่อย
ผลกระทบของ AGI อย่างน้อยจะวัดกันในระดับล้านล้านดอลลาร์ สุดท้ายสิ่งที่ได้รับรางวัลอาจไม่ใช่งานวิจัย AGI แต่เป็นการ fine-tune LLM สาธารณะรุ่นล่าสุดให้เข้ากับพารามิเตอร์ของการทดสอบได้ดีที่สุด
ควรเปลี่ยนแพลตฟอร์มที่ใช้สื่อสารกับสาธารณะด้วย ลิงก์ x.com ตอนนี้เข้าถึงไม่ได้หากไม่สร้างบัญชี
เป้าหมายหลักของรางวัลนี้คือเพิ่มการรับรู้ของสาธารณะว่าเราอยู่ใกล้ AGI แค่ไหน หรือในตอนนี้ยังห่างไกลแค่ไหน: https://arcprize.org/leaderboard
หวังว่าความเข้าใจแบบนี้จะทำให้นักวิจัย AI ว่าที่หน้าใหม่จำนวนมากขึ้นหันไปวิจัยไอเดียใหม่ ๆ
ผมชอบ ARC มากในฐานะชุดโจทย์สำหรับแก้ปัญหา ความที่ข้อมูลมีน้อยและกฎที่ใช้ได้แทบไม่มีที่สิ้นสุด ทำให้มันยากกว่าชุดปัญหา machine learning แบบเดิมมาก
แต่ผมไม่เห็นด้วยว่านี่เป็นตัวแทนของ AGI มันเป็นเพียง dataset ที่ต่างจากกรณีความสำเร็จเดิม ๆ ของ machine learning และแนวทางก็โดยมากยังคล้ายกับของเดิม
AGI ที่เป็นความก้าวหน้าทะลุทะลวงจริง ๆ อาจแก้ชุดปัญหานี้ได้ แต่ผมไม่มองว่าการแก้ชุดปัญหานี้ได้เป็นตัวชี้วัดที่รับประกันว่าเป็น AGI
น่าสนใจและชอบมาก แต่จากสัญชาตญาณหลังดูตัวอย่างราวสิบกว่าข้อ ผมรู้สึกว่าโจทย์นี้แม้จะยาก แต่ก็ง่ายพอที่ถ้าได้รับความนิยม ภายในหนึ่งปีหรือเร็วกว่านั้นน่าจะมีผลลัพธ์ที่ใกล้ระดับมนุษย์ออกมา และถึงอย่างนั้นก็คงยังไม่ถึง AGI
แก่นของเรื่องดูเหมือนเป็นการหาภาษาสำหรับเทคนิคการแปลงที่ทั่วไปพอ และมีตัวดำเนินการที่เหมาะสม จากนั้นต้องมี heuristic เพื่อหาโปรแกรมที่สั้นมากในความหมายเชิงทฤษฎีสารสนเทศ ซึ่งสร้างตัวอย่างทั้งหมดของโจทย์หนึ่งข้อได้
ผมคงแปลกใจมากถ้าในไม่ช้าจะไม่มีใครดันผล 34% ขึ้นไปได้อย่างมาก และก็จะประหลาดใจเช่นกันถ้าสิ่งนี้ถ่ายโอนไปเป็นปัญญาทั่วไปได้ โดยเฉพาะเมื่อคิดถึงหัวข้อที่ผมใช้ AI วันนี้และจุดที่มันยังขาดอยู่
โดยพื้นฐานแล้ว สัญชาตญาณผมบอกว่านี่จะกลายเป็นปัญหาแบบ หมากรุก หรือ โกะ อีกอย่างหนึ่งใน AI ถึงอย่างนั้นก็มีคุณค่าในฐานะหัวข้อวิจัยแน่นอน และคุณค่าที่อาจเกิดจากตรงนี้ก็มากพอจะเกิน 1 ล้านดอลลาร์ได้สบาย
ผมไม่คิดเลยว่าการทำโจทย์นี้ได้ดีจะเป็นหลักฐานของ AGI จริง ๆ เช่น มันต่างจากความสามารถในการเขียนบทพิสูจน์คณิตศาสตร์ใหม่ ๆ ตั้งคำถามเชิงลึกที่ไม่มีใครคิดถึง กำกับการเรียนรู้ของตัวเอง หรืออ่านซอร์สโค้ดของตัวเอง
สำนวนที่ว่า “การประเมินเพียงอย่างเดียวที่ใช้วัด AGI” นั้นเกินจริง นี่เป็นแค่ ปัญหาที่ LLM ทำไม่ได้ ไม่ได้หมายความว่ามันเป็นมาตรวัดที่ดีของปัญญาประดิษฐ์ทั่วไป
หลังจากลองแก้ไปไม่กี่ข้อ ก็เริ่มสงสัยว่าตัวสร้างโจทย์มีชุดกฎการแปลงที่ต่างกันอยู่มากแค่ไหน ดูเหมือนจะไม่ได้มีมากนัก
ดังนั้นปัญหาจึงแบ่งออกเป็นการดึงชุดกฎการแปลงจากข้อมูล แล้วนำไปใช้กับโจทย์ใหม่
ส่วนแรกยาก และเป็นปัญหาการดึงคุณลักษณะ ดูเหมือนว่าการแปลงจะถูกนำไปใช้อย่างเคร่งครัด ดังนั้นถ้าได้กฎการแปลงมา แล้วเลือกกฎที่เข้ากับตัวอย่างอินพุตทั้งหมด การนำไปใช้เองก็น่าจะง่าย
ดูเหมือนว่าจำเป็นต้องมี การดึงคุณลักษณะ แบบชัดเจน มากกว่าการผสมผสานระหว่างการดึงและการใช้คุณลักษณะแบบที่ LLM ใช้ มีใครเคยลองดึงชุดกฎจากกรณีทดสอบบ้างไหม?
วิธีแก้ระดับบนบางส่วนจากการแข่งขัน Kaggle เดิมใช้ ภาษาเฉพาะโดเมน ที่ประกอบด้วยการแปลงแบบนี้ นั่นคือเมื่อ 4 ปีก่อน [1]
ปัญหาของเส้นทางนั้นคือโจทย์ไม่ได้ใช้ตัวสร้างโปรแกรม ชุดกฎอาจเป็นอะไรก็ได้ที่มนุษย์นึกขึ้นมาได้ อาจเรียบง่ายอย่าง “วัตถุที่ใหญ่ที่สุดกลายเป็นสีฟ้า” แต่ก็อาจซับซ้อนกว่านั้นมาก
นอกจากนี้ ชุดทดสอบยังไม่เปิดเผย จึงไม่สามารถนำไปเรียนรู้หรือดึงกฎออกมาได้ ในนั้นยังมีกฎที่ไม่มีอยู่ในชุดสาธารณะด้วย
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
บทความต้นฉบับของ François Chollet ลึกซึ้งอย่างยิ่ง และผมยังแปลกใจเสมอที่ไม่มีคนพูดถึงมันมากกว่านี้
บางส่วนค่อนข้างเป็นเทคนิค แต่ในภาพรวมแล้ว มันเป็นคำตอบที่ดีที่สุดเท่าที่ผมเคยเห็นสำหรับคำถามว่า “ปัญญาทั่วไป หมายถึงอะไร?”
เมื่อพิจารณาความรู้ล่วงหน้าเกี่ยวกับโลกทั้งแบบชัดแจ้งและโดยนัย แล้วนิยามปัญญาเป็น ประสิทธิภาพในการเรียนรู้ ก็จะเข้าใจได้ง่ายขึ้นมากว่าทำไมปัญญาของมนุษย์จึงน่าประทับใจถึงเพียงนั้น
Dwarkesh เพิ่งเผยแพร่บทสัมภาษณ์กับ François Chollet เขาเป็นพาร์ตเนอร์ของผู้เขียนโพสต์ต้นฉบับ
ผมเพิ่งฟังไปได้ไม่กี่นาที แต่สนใจมากที่จะฟังความคิดของเขาเพิ่มเติมเกี่ยวกับ ข้อจำกัดของ LLM
https://youtu.be/UakqL6Pj9xo