ความไม่สอดคล้องที่ปรากฏในกระบวนการประเมิน AGI และการคัดเลือกผู้ชนะ

• หลังประกาศผลแฮกกาธอน AGI Benchmark ของ Kaggle·Google DeepMind ผู้เข้าร่วมได้เรียกร้องให้เปิดเผยกระบวนการตัดสินและทบทวนผลอีกครั้ง โดยอ้างถึง ปัญหาการคำนวณคะแนนและความสามารถในการทำซ้ำของ MEDLEY-BENCH ที่ได้อันดับ 1
• MEDLEY-BENCH สรุปว่าเมื่อขนาดโมเดลใหญ่ขึ้น มีเพียง ‘การประเมิน’ ที่ดีขึ้น ส่วน ‘การควบคุม’ กลับทรงตัว แต่ฝ่ายวิจารณ์โต้แย้งว่าตัวชี้วัดทั้งสองเพิ่มขึ้นในลักษณะคล้ายกัน และค่าการวัดพื้นฐานก็มีความสัมพันธ์สูงที่ ρ=0.79~0.94
• จากการตรวจโค้ด พบว่าใช้ น้ำหนักที่กำหนดด้วยมือ 33 ค่า โดยไม่มีงานศึกษารองรับหรือการลดทอนความซับซ้อน, เกณฑ์ตัดสินด้วย LLM 30 ข้อที่ยังไม่ผ่านการตรวจสอบ, ตรรกะที่ตีความความมั่นใจต่ำแบบกลับด้าน, และวิธีสร้างข้อมูลที่ติด ID เดียวกันให้กับข้ออ้างคนละเรื่องแล้วนำมารวมกัน
• MEDLEY-BENCH·GAUGE·Metaproteus ตรวจดูได้เพียงคะแนนเดี่ยวโดยไม่มี execution trace ส่วน LearningBench ก็ซับซ้อนจนการตรวจสอบแต่ละกรณีใช้เวลาหลายชั่วโมง ทำให้ผู้เข้าร่วมเรียกร้อง ลีดเดอร์บอร์ดทั้งหมดและผลประเมินแยกตามเกณฑ์
• Kaggle ตอบว่ามี กรรมการมนุษย์ราว 20 คน ประเมินผลงานที่ชนะทุกชิ้นอย่างน้อย 2 คน และบางชิ้นมี 3~4 คนให้คะแนนอย่างอิสระ พร้อมขยายเวลาตัดสินจาก 1.5 เดือนเป็น 3 เดือน แต่ยังไม่เปิดเผยคะแนนรายผลงานและรายละเอียดการคัดเลือก

---

โครงสร้างแฮกกาธอนและผลรางวัล

• Kaggle และ Google DeepMind ร่วมจัดแฮกกาธอน Measuring Progress Toward AGI: Cognitive Abilities เพื่อประเมินการให้เหตุผล การกระทำ และการตัดสินของโมเดลแนวหน้าที่ก้าวเลยการท่องจำซ้ำ
  • มีทีมส่งเบนช์มาร์กเข้ามามากกว่า 1,000 ทีมใน 5 แทร็กด้านการรู้คิด
  • รางวัลใหญ่ 4 รางวัลได้รับรางวัลละ 25,000 ดอลลาร์ และผลงานชนะในแต่ละแทร็ก 10 ชิ้นได้รับรางวัลละ 10,000 ดอลลาร์

ผลงานรางวัลใหญ่ 4 ชิ้น

• MEDLEY-BENCH ประเมินว่าเมื่ออยู่ภายใต้แรงกดดันทางสังคม โมเดลรับรู้ความไม่แน่นอนของตนเองได้หรือไม่, รักษาความเชื่อเดิมไว้ได้หรือไม่เมื่อเจอกับแรงกดดันที่ผิด, และปรับความเชื่อได้หรือไม่เมื่อมีหลักฐานโต้แย้งที่ใช้ได้
• LearningBench วัด การเรียนรู้ ณ เวลาการให้เหตุผล โดยดูว่าโมเดลเรียนรู้กฎของระบบแบบข้อความที่ไม่เคยเจอมาก่อนภายในบทสนทนาเดียวได้หรือไม่ แทนที่จะอาศัยความรู้จากการพรีเทรน
• GAUGE ใช้ บันไดเมตาค็อกนิชัน 3 ขั้น คือการคาดการณ์ความยากของโจทย์, การแก้ปัญหาพร้อมรายงานความมั่นใจ, และการส่งคำตอบหรือขอถอนตัวตามผลตอบแทนเชิงทฤษฎีเกม
  • โมเดลแนวหน้ารุ่นหนึ่งมีความแม่นยำและการคาลิเบรตดีที่สุดใน 270 รายการ แต่ไม่เคยถอนตัวเลยแม้แต่ครั้งเดียว แสดงให้เห็นว่าความสามารถในการเฝ้าติดตามกับการควบคุมพฤติกรรมอาจแยกจากกันได้
• Metaproteus ประเมินว่าโมเดลรู้จักการกระจายผลลัพธ์ของตัวเองและแนวโน้มการสุ่มตัวอย่างมากเพียงใด แทนที่จะวัดความรู้เกี่ยวกับโลก
  • หลังสร้างผลลัพธ์แบบเชื่อมโยงคำ โมเดลอินสแตนซ์ใหม่จะต้องทำนายคำตอบของตัวเอง และแยกความล้มเหลวระหว่างการประเมินต่ำไปสำหรับผลลัพธ์ที่ตอบอย่างมั่นใจกับการยอมรับเกินจริงต่อคำที่ไม่ควรสร้างขึ้นเลย

ผลงานชนะใน 5 แทร็กการรู้คิด

• การทำงานเชิงบริหาร

  • Turn Bench ใช้เกมผลัดตาเดินที่กติกาตั้งใจให้ง่าย เพื่อแยกวัดการวางแผน การลงมือทำ working memory การยับยั้ง และความยืดหยุ่นในการปรับตัว
  • ใช้เกมเวอร์ชันดัดแปลงที่มีข้อกำหนดตรงข้ามกันเพื่อแยกความยืดหยุ่นทางการรู้คิดที่แท้จริงออกจากพฤติกรรมตั้งต้นที่บังเอิญเหมาะกับบางสถานการณ์
  • มองการทำงานเชิงบริหารไม่ใช่ความสามารถเดี่ยวที่โตไปพร้อมขนาดโมเดล แต่เป็น โปรไฟล์ที่ขึ้นกับบริบท
  • SecureExec-Bench วัดว่าในสภาพแวดล้อมที่อ่อนไหวต่อความปลอดภัย เช่น การตอบสนองเหตุการณ์และการจัดการข้อมูลรับรอง โมเดลสามารถต้านทานการชักจูงเชิงปฏิปักษ์และรักษากระบวนการความปลอดภัยไว้ได้หรือไม่

• การเรียนรู้

  • GrammarGym อิงจากการเรียนรู้ไวยากรณ์เทียมในจิตวิทยาการรู้คิด เพื่อประเมินว่าโมเดลเรียนรู้กฎสังเคราะห์ใหม่ที่แยกจากความหมายได้หรือไม่
  • เนื่องจากสร้างไวยากรณ์ใหม่ขึ้นมา จึงทดสอบความสามารถในการเรียนรู้ได้โดยไม่พึ่งพาความรู้ที่ท่องจำไว้
  • EphLangBench สร้างภาษาโปรแกรมที่สุ่มคีย์เวิร์ด โอเปอเรเตอร์ และรูปแบบ infix, prefix, postfix ใหม่ในแต่ละเซสชัน
  • โมเดลต้องอ่านสเปกในบริบทเท่านั้นเพื่อเรียนรู้ไวยากรณ์ใหม่แล้วแก้ปัญหาเชิงอัลกอริทึม พร้อมแก้ข้อผิดพลาดจากฟีดแบ็กของคอมไพเลอร์ตลอดหลายเทิร์น
  • จาก 10 โมเดลและ 200 ปัญหา อัตราผ่านอยู่ที่ 7~89% ซึ่งเผยให้เห็นช่องว่างด้านสมรรถนะที่กว้างกว่า HumanEval มาก

• เมตาค็อกนิชัน

  • ESFP Benchmark ประเมินว่าโมเดลสลับระหว่างท่าทีแบบถ่ายทอดความเห็นผู้เชี่ยวชาญกับท่าทีแบบให้เหตุผลด้วยตนเองได้หรือไม่
  • ความสามารถในการสลับโหมด ‘เครื่องมือ’ กับ ‘ตัวกระทำ’ แตกต่างกันมากในแต่ละโมเดล และ instruction tuning ก็ผลักโมเดลไปสู่บทบาทเครื่องมือที่กดการแสดงออกด้วยตนเองแบบอิสระ
  • Metacognitive Calibration Benchmark ทดสอบร่วมกันว่าโมเดลตั้งสมมติฐานจากข้อมูลจำลองการประเมินทางคลินิกที่จำกัดได้หรือไม่, แยกหลักฐานออกจากการคาดเดาได้หรือไม่, และรู้ว่าต้องขอข้อมูลเพิ่มเมื่อข้อมูลยังไม่พอหรือไม่

• การรู้คิดทางสังคม

  • HedgeDecode วัดว่าโมเดลจับเจตนาที่สื่ออย่างอ้อมค้อมหรือเพื่อรักษาหน้าได้หรือไม่ และตอบสนองอย่างเหมาะสมทางสังคมโดยไม่เปิดโปงถ้อยคำปกป้องตนเองของผู้ใช้ได้หรือไม่
  • AdvisorBench ประเมินว่า AI ให้คำแนะนำที่คุณภาพต่ำลงแก่ผู้ใช้ที่สื่อสารในรูปแบบที่มี literacy ต่ำหรือไม่
  • วัดว่าคุณภาพ ความลึก และความนำไปใช้ได้ของคำแนะนำลดลงตามรูปแบบการสื่อสารหรือไม่

• ความสนใจ

  • RIAC แยกวัด การพังทลายของความสนใจที่เกิดจากการทำซ้ำ ซึ่งเกิดเมื่อโมเดลที่ดึงค่าจากประโยคสะอาดได้ กลับล้มเหลวเมื่อถูกล้อมด้วยโทเคนรบกวนที่ซ้ำกัน
  • ABC ประเมิน selective attention ทั้งด้านข้อความและภาพภายใต้การรบกวน พร้อมแยกความสนใจที่ไวต่อคุณลักษณะออกจากความสนใจที่ไวต่อโครงสร้างตามจิตวิทยา Gestalt
  • จากการทดสอบ 15 โมเดลกับ 2,160 กรณี พบว่าแม้โมเดลจะจับคุณลักษณะเชิงพื้นที่แบบชัดเจนได้ดี ก็ยังอาจล้มเหลวเมื่อจำเป็นต้องหา grouping, region หรือหน่วยโครงสร้างที่ถูกต้อง

ข้อถกเถียงเรื่องการตีความผลลัพธ์ของ MEDLEY-BENCH

• Thomas Werkmeister วิจารณ์ว่า MEDLEY-BENCH ซึ่งได้รางวัลใหญ่ที่ 1 ไม่ผ่านเกณฑ์ด้านคุณภาพ ความสามารถในการป้องกันข้ออ้าง ความชัดเจน และความแปลกใหม่ที่เชื่อกันว่าใช้ในการตัดสิน
• หน้าจอเปรียบเทียบโมเดลใน Kaggle Benchmarks SDK แสดงเพียง คะแนนเดี่ยว ทำให้ตรวจสอบกระบวนการเก็บข้อมูลหรือ execution trace ของบทสนทนาได้ยาก
• ผลลัพธ์ชุดแรกถูกตีความว่าเมื่อขนาดโมเดลใหญ่ขึ้น ตัวชี้วัด ‘การประเมิน’ สีส้มสูงขึ้น ขณะที่ตัวชี้วัด ‘การควบคุม’ สีน้ำเงินแบนราบ แต่ฝ่ายวิจารณ์เห็นว่าเส้นทั้งสองและตัวชี้วัดที่เหลือมีแนวโน้มแบบเดียวกัน
  • ยังมีข้อโต้แย้งว่าในตระกูล Gemma กราฟกลับดูเหมือนการควบคุมดีขึ้นกว่าการประเมิน
  • บทความเสริม รายงานความสัมพันธ์ระหว่างตัววัดพื้นฐานที่ ρ=0.79~0.94
• MEDLEY-BENCH สรุปว่าการฝึก LLM แบบมาตรฐานเอื้อต่อความสามารถในการประเมินมากกว่าการควบคุม แต่ในอีกส่วนหนึ่งกลับจัดให้การประเมินเป็นความสามารถที่อ่อนที่สุดเมื่อเทียบกับ 4 ความสามารถพื้นฐาน ทำให้ถูกวิจารณ์ว่าเป็นความขัดแย้งภายใน
• หากความสามารถทั้งสี่เคลื่อนไหวไปเกือบพร้อมกัน ก็ยังไม่ชัดว่าจริง ๆ แล้ววัดความสามารถที่ต่างกันแยกออกจากกันได้หรือไม่

ปัญหาในการคำนวณคะแนนและการสร้างข้อมูล

• การตรวจโค้ดเพิ่มเติมพบว่าใช้ น้ำหนักที่กำหนดด้วยมือรวม 33 ค่า ในการรวมคะแนน
  • ใช้ 24 ค่าในการคำนวณ T1·T2·T3, 8 ค่าในการคำนวณการเปลี่ยนแปลงทางสังคมแบบ private-vs-social ของ T2 และ 1 ค่าในการสรุปองค์ประกอบสมดุล MMS
  • ไม่มีการให้เหตุผลหรือการศึกษาการลดทอนสำหรับน้ำหนักแต่ละค่า
• ใน T3 มีการใช้ เกณฑ์การรู้คิดแบบบรรทัดเดียว 30 ข้อ จาก 10 หมวดการตัดสินด้วย LLM หมวดละ 3 ข้อ แต่ยังไม่เคยทดสอบว่าเกณฑ์เหล่านี้จับความสามารถที่ตั้งใจวัดได้จริงหรือไม่
• พรอมป์ตตีความความมั่นใจต่ำต่อข้ออ้างหนึ่งว่าเป็นการคัดค้านข้ออ้างนั้น
  • ฝ่ายวิจารณ์มองว่าโมเดลอาจมีความมั่นใจต่ำต่อข้ออ้างที่เห็นว่าชั่วคราวน่าจะถูกต้องได้ และการคัดค้านก็ไม่เหมือนกับการมั่นใจในข้อความตรงข้าม
• เนื่องจากแต่ละโมเดลเขียนข้ออ้างหมายเลข 1~5 ขึ้นมาเอง จึงพบปัญหาว่าแม้เป็นกรณีเดียวกันและใช้ ID ข้ออ้างเดียวกัน แต่ claim_text กลับต่างกัน
  • ใน C4 ของ KA_CR_001 มีการใส่เนื้อหาที่ต่างกัน เช่น SQL injection, การยืนยันตัวตนภายในและ VPN, การจัดการตัวพิมพ์ใหญ่เล็กของ allowlist, หรือความเสี่ยงด้านการบำรุงรักษาในอนาคต
  • บางโมเดลมี claim_text เป็น null หรือสร้างข้ออ้างมาน้อยกว่า 5 ข้อ
• ความเชื่อมั่นของข้ออ้างคนละเรื่องถูกนำมารวมกันภายใต้ ID เดียว เพื่อสร้างค่าความเชื่อมั่นมัธยฐาน, จุดยืนเสียงข้างมาก และการกระจายจุดยืน ก่อนส่งเข้า Step B Social prompt
  • จากนั้นโมเดลจะได้รับความเห็นจากโมเดลอื่นที่อาจไม่ตรงกับข้ออ้าง 1~5 ที่ตัวเองสร้างไว้ตอนแรก แล้วถูกทำให้ต้องแก้ไขข้ออ้างเดิม
  • เมื่อรวมกับน้ำหนักที่กำหนดด้วยมือและการตัดสินด้วย LLM ในภายหลัง จึงนำไปสู่คำวิจารณ์ว่ายากจะเชื่อถือความเที่ยงตรงของตัวชี้วัดสุดท้าย
• ฝ่ายวิจารณ์เห็นว่าควรตรวจสอบในหน่วยย่อยก่อนแล้วค่อยขยาย และเพียงตรวจลึกแค่ 1 ใน 30 เกณฑ์ตัดสินด้วย LLM ก็อาจสร้างผลลัพธ์ที่มีประโยชน์ได้แล้ว

ข้อเรียกร้องเรื่องความสามารถในการทำซ้ำและความโปร่งใสในการตัดสิน

• ผู้เข้าร่วมมีข้อมูลสาธารณะไม่พอสำหรับตรวจสอบข้ออ้างของผลงานที่ชนะด้วยตนเอง
  • REPRODUCING.md ของ MEDLEY-BENCH ชี้ไปที่โฟลเดอร์ results/ ที่ไม่มีอยู่ในรีโป ทำให้ต้องไล่ย้อนโค้ดและ JSON เพื่อทำความเข้าใจกระบวนการสร้างผลลัพธ์
  • LearningBench ใช้ SDK ได้ดีที่สุดในบรรดาผลงานรางวัลใหญ่ แต่การตรวจสอบเกมตัวอย่างเพียงกรณีเดียวอย่าง gated_dual_signal_binding_assoc_learning โดยมนุษย์ก็อาจใช้เวลาหลายชั่วโมง
  • GAUGE ระบุว่าใช้ราว 200 กรณี แต่ในหน้าจอเบนช์มาร์กเห็นเพียงการรันเดี่ยว
  • Metaproteus ก็มีเพียงคะแนนเดี่ยวบนหน้าเบนช์มาร์ก ทำให้ตรวจสอบการชักนำคำและวิธีวัดได้ยากในทันที
• มีคำขอให้เปิดเผยข้อมูลต่อไปนี้ เพื่อให้มากกว่า 1,000 ทีมเข้าใจจุดอ่อนของตนเองได้
  • ลีดเดอร์บอร์ดคะแนน ของผลงานส่งทั้งหมด
  • อย่างน้อยคะแนนประเมินของผลงานที่ชนะ
  • ปัจจัยที่ถูกนำไปใช้จริงอย่างสำคัญในการตัดสิน
  • คะแนนแยกตามเกณฑ์และฟีดแบ็กของแต่ละผลงาน
  • ตัวกรองคุณสมบัติล่วงหน้า เช่น การตัดสินกรณีคะแนนเสมอและการตัดสิทธิ์ทางเทคนิค
• น้ำหนักการประเมินอย่างเป็นทางการที่ผู้เข้าร่วมคนหนึ่งอ้างถึงคือ คุณภาพชุดข้อมูลและการออกแบบงาน 50%, คุณภาพงานเขียน 20%, ความแปลกใหม่·อินไซต์·ความสามารถในการแยกแยะ 30%
• ผู้ส่งผลงาน ATLAS ระบุว่าผลงานของตนมีเกม 540 เกม, ประเภทการเรียนรู้ 6 แบบ, ระดับความยาก 3 ระดับ, คำตอบอ้างอิงแบบเป็นโปรแกรม, และการวินิจฉัยประเภทความล้มเหลว พร้อมขอให้เปิดเผยว่าถูกประเมินต่ำกว่าผลงานชนะในเกณฑ์ย่อยใด
  • เขาตั้งคำถามว่าความแปลกใหม่ของพาราไดม์อย่างไวยากรณ์เทียมและภาษาครั้งเดียวได้รับน้ำหนักมากกว่าความสามารถในการแยกแยะหรือไม่
  • และขอให้เปิดเผยว่าการรันโมเดลภายในสำหรับพนักงานใช้เพื่อการตรวจสอบทางเทคนิคเท่านั้นหรือถูกรวมในรอบตัดสินสุดท้ายด้วย
• ผู้เข้าร่วมที่ตรวจสอบว่ามีการรันโมเดลภายในหรือไม่ สรุปว่าจากลิงก์เบนช์มาร์ก 680 รายการใน 5 แทร็ก มี 30 รายการ ที่ยืนยันการรันด้วย Claude Fable 5 หรือ OpenAI o3
  • การตรวจสอบนี้จัดทำด้วย agentic AI และส่วนที่ว่าการรันโมเดลมีไว้เพื่อการตัดสินนั้นเป็นข้อสรุปของผู้เข้าร่วมเอง

ขอบเขตการประเมินและ physical intelligence

• ผู้เข้าร่วมอีกคนมองว่าผลงานที่ชนะประเมินการเรียนรู้ ณ เวลาการให้เหตุผล เมตาค็อกนิชัน การทำงานเชิงบริหาร ความสนใจ และการให้เหตุผลทางสังคม เป็นหลักในสภาพแวดล้อมแบบข้อความ ทฤษฎีเกม และการสร้างขั้นตอน
• เห็นว่ายากจะพบเบนช์มาร์กด้าน physical intelligence ที่จัดการเหตุและผลจากแรงเวกเตอร์ ทอร์ก ชีวกลศาสตร์ จลนศาสตร์ คุณสมบัติวัสดุ หรือ execution trace ทางกายภาพในโลกจริงในบรรดาผลงานที่ชนะ
• มีข้อเสนอว่าในอนาคตควรจัดทำ pipeline การประเมินแบบมัลติโหมดโดยเฉพาะ ที่รองรับการเคลื่อนไหว แรง ชีวกลศาสตร์ ปฏิสัมพันธ์ของวัสดุ และข้อมูลจากเซ็นเซอร์ในโลกจริง
• ยังมีข้อเรียกร้องให้ปรับขอบเขตของคำอธิบาย AGI กว้าง ๆ อย่าง “ให้เหตุผล ลงมือทำ และตัดสิน” ให้สอดคล้องกับ 5 แทร็กด้านการรู้คิดและโครงสร้างการประเมินที่เน้นการตอบพรอมป์ตในทางปฏิบัติ

คำตอบของ Kaggle และประเด็นที่ยังค้างอยู่

• Kaggle ระบุว่าแฮกกาธอนครั้งนี้จัดร่วมกับ Google DeepMind และมี กรรมการประมาณ 20 คน จากทั้งสององค์กรเข้าร่วม
• แฮกกาธอนสิ้นสุดเมื่อวันที่ 16 เมษายน และเดิมตั้งใจตัดสินภายใน 1.5 เดือนจนถึง 31 พฤษภาคม แต่ได้ขยายเพิ่มอีก 1.5 เดือนจนถึง 13 กรกฎาคม
• ผลงานที่ชนะทุกชิ้นถูกตรวจโดยกรรมการมนุษย์อย่างน้อย 2 คน และบางชิ้นมี 3~4 คน ให้คะแนนอย่างอิสระตามเกณฑ์การประเมิน
• ทางผู้จัดยอมรับว่าแฮกกาธอนที่ประเมินผลงานเชิงคุณภาพย่อมมีความเป็นอัตวิสัยของมนุษย์อยู่ แต่ยืนยันว่าสามารถลดความเอนเอียงได้ด้วยการตัดสินอย่างอิสระจากหลายคน
• แม้จะย้ำชัดว่าไม่ได้มอบหมายการตัดสินให้ LLM แบบไม่ระมัดระวัง แต่คำตอบก็ยังไม่รวมลีดเดอร์บอร์ดทั้งหมด คะแนนแยกตามเกณฑ์ หรือรายละเอียดการตัดสินรายชิ้นตามที่มีการร้องขอ

[GN⁺]

ความคิดเห็นบน Hacker News

• AI มีประโยชน์ แต่มีคนจำนวนมากอย่างไม่น่าเชื่อที่ปล่อยให้มันคิดแทนทั้งหมด แล้วรับคำตอบมาแบบไม่ตั้งคำถาม
  ดูเหมือนเป็นไปได้สูงว่า Kaggle เองก็ใช้ AI ในการประเมินผลงานที่ส่งเข้ามา แล้วรับผลลัพธ์โดยไม่มีการตรวจสอบตามสามัญสำนึก

  • สาเหตุพื้นฐานของการเอาความคิดไปจ้างคนอื่นทำแทน ยังมีแรงกดดันเรื่อง “ต้องเดินหน้าให้เร็ว” เป็นปัจจัยสำคัญด้วย
    ทุนต้องการผลลัพธ์ทันที จึงไม่มีเวลาให้อ่าน ย่อยข้อมูล และไตร่ตรอง
  • แนะนำให้ทีมใช้ AI/LLM พร้อมสำรวจทั้งศักยภาพและข้อจำกัดของมัน แต่ก็เริ่มเหนื่อยกับการตรวจ user story ที่ AI สร้างขึ้นซึ่งครึ่งหนึ่งจาก 20 รายการไร้สาระสิ้นดี
    LLM เป็นเพียง เครื่องมือที่มีประโยชน์แบบ Mr. Meeseeks ไม่ใช่พระเจ้า ดังนั้นอย่างน้อยควรกวาดตาดูผลลัพธ์สักรอบ
  • อาจมีการใช้ prompt injection เพื่อทำให้ AI ตัดสินว่าตัวเองเป็นผู้ชนะร่วมด้วย
  • ถ้าขอคำตอบที่ต้องการ มันก็จะให้มาตามนั้น ดังนั้นตอนที่แทบไม่รู้เรื่องในสาขานั้น การใช้ AI จึงดูเหมือนง่าย
    ในทางกลับกัน ถ้ารู้สาขานั้นดี จะมองเห็นคำตอบแย่ ๆ และคำตอบผิด ๆ ได้ชัด ซึ่งนี่แหละคือภาพที่ เอฟเฟกต์ Gell-Mann AI กำลังทำงาน
  • เดิมทีมนุษย์ก็ชอบฝากความคิดไว้กับนักข่าวทีวี ศาสนา พรรคการเมือง ฯลฯ อยู่แล้ว และมองว่า ฝากไว้กับ AI ยังดีกว่า

• ไม่แน่ใจว่าเป็นการแข่งขันนี้พอดีหรือไม่ แต่รู้สึกว่า AI ได้ทำให้ แฮกกาธอนที่ยุติธรรม แทบจบสิ้นแล้ว
  แม้ภายนอกจะดูปกติดี แต่โค้ดของทุกโปรเจกต์ถูกสร้างโดย AI และให้ AI เป็นกรรมการตัดสิน แถมยังเคยเห็นโปรเจกต์ที่ prompt injection ว่าตัวเองเป็นผู้ชนะชนะจริง ๆ ด้วย
  เมื่อก่อนเป็นการแข่งขันทักษะของมนุษย์ แต่ตอนนี้กลายเป็นการแข่งขันไอเดีย และสุดท้ายคนวงในก็มักจะชนะ

  • แฮกกาธอนไม่ยุติธรรมมาตั้งแต่ก่อนมี AI แล้ว ดูได้จาก https://news.ycombinator.com/item?id=48468766
    ทางแก้คือจัดและเข้าร่วม แฮกกาธอนที่ไม่มีเงินรางวัล เป้าหมายไม่ควรเป็นการชนะ แต่เป็นการสร้างของเจ๋ง ๆ นำเสนอ และสนุกไปกับมัน
    กลับกัน AI อาจทำให้แฮกกาธอนดีขึ้นด้วยซ้ำ เพราะช่วยทำต้นแบบได้เร็ว
  • อยากเห็น ตัวอย่างที่เป็นรูปธรรม ของโปรเจกต์ที่ prompt injection ให้ระบบตัดสินว่าตัวเองเป็นผู้ชนะ แล้วชนะจริง ๆ
  • รู้สึกดีที่ไม่ได้เข้าไปติดแฮกกาธอน และไม่อยากผูกกิจกรรมสร้างของส่วนตัวเข้ากับเป้าหมายของการแข่งขัน
    ที่ทำงานได้ทำสิ่งที่ชอบและได้เงิน แต่ช่วงหลังกลับถูกขอให้สั่งคอมพิวเตอร์ทำสิ่งนั้นแทน
  • อย่างน้อย แฮกกาธอนที่มีเงินรางวัลจริงจัง ก็ตายไปนานแล้ว
  • ไอเดีย prompt injection ว่าตัวเองเป็นผู้ชนะนั้นฉลาด แต่ความจริงแบบนี้ทำให้หมดไฟอย่างมาก
    ถ้าแยกจัด แฮกกาธอนแบบทำด้วยมือกับแฮกกาธอน AI ก็คงดี แต่เหมือนกับเกม การโกงทำลายความสนุก

• ผลงานที่ส่งโดย AI กับกรรมการ AI ดูเหมือนคู่ในฝันที่เกิดมาเพื่อกันและกันในสวรรค์ของ AI

  • ถ้าพูดแบบ Slavoj Žižek ก็คล้ายกับสถานการณ์ที่เอาดิลโด้เสียบไว้กับอุปกรณ์ช่วยตัวเอง แล้วให้มัน มีเพศสัมพันธ์แทนเรา
  • สถานการณ์ที่ให้ AI ตรวจ PR ที่ AI เขียน ก็เช่นเดียวกัน

• ผู้คนชนะการแข่งขันด้วย วิธี brute force มาตั้งแต่ยุคแรก ๆ ของ Kaggle และบ่นกันมานานพอ ๆ กัน
  โดยแก่นแท้แล้วแมชชีนเลิร์นนิงเป็นสาขาที่คอมพิวเตอร์สร้างโมเดลผ่านการเลือกฟีเจอร์อัตโนมัติและการปรับไฮเปอร์พารามิเตอร์ และโมเดล Kaggle ส่วนใหญ่ก็เป็นกล่องดำมาตั้งนานแล้ว
  โมเดลที่ชนะ Netflix Prize ก็ไม่ได้ถูกนำไปใช้ในบริการจริงด้วยเหตุผลนั้น ดังนั้นการสร้างโค้ดที่ทำกล่องดำด้วย LLM จึงไม่ได้ต่างจากแนวปฏิบัติเดิมมากนัก

• เคยนึกว่า Kaggle เป็นไซต์สำหรับดาวน์โหลด ไฟล์ CSV น่าสงสัย อย่างปริมาณการบริโภคถั่วของโบลิเวียต่อปี
  สงสัยว่ามันเคยเป็นแหล่งที่น่าเชื่อถือสำหรับงานวิจัยต้นฉบับหรือข้อมูลที่มีที่มาชัดเจนหรือไม่ และครั้งนี้สิ่งที่ดูแปลกเป็นพิเศษก็แค่มีเงินรางวัล 25,000 ดอลลาร์ เท่านั้น

  • Kaggle ยังจัดการแข่งขัน ARC Prize ที่มี เงินรางวัลสูงสุด 850,000 ดอลลาร์ ด้วย: https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3...

• ผมคือ Nick ผู้จัดการผลิตภัณฑ์ของ Kaggle Benchmarks และเป็นผู้ร่วมจัด/กรรมการของแฮกกาธอน AGI ครั้งนี้
  การแข่งขันนี้ Kaggle และ Google DeepMind ร่วมกันจัด โดยมีกรรมการจากทั้งสองฝ่ายประมาณ 20 คน หลังปิดรับเมื่อวันที่ 16 เมษายน เดิมตั้งใจจะใช้เวลาตัดสิน 1.5 เดือนจนถึง 31 พฤษภาคม แต่เพื่อประเมินผู้เข้าร่วมให้เหมาะสม จึงขยายออกไปอีก 1.5 เดือนจนถึง 13 กรกฎาคม
  ผลงานที่ชนะทั้งหมดมีกรรมการมนุษย์อย่างน้อย 2 คน และบางผลงานมี 3–4 คน ตรวจและให้คะแนนอย่างอิสระตามเกณฑ์ที่เผยแพร่บนหน้าเว็บ
  การตัดสินผลงานเชิงคุณภาพมีอัตวิสัยของมนุษย์เข้ามาเกี่ยวข้อง แต่เราพยายามลดอคติด้วยเกณฑ์ที่เป็นกลางและการตัดสินอิสระจากหลายคน แม้จะมีความเห็นต่างต่อผลลัพธ์ แต่ ไม่ได้ปล่อยให้ LLM ตัดสินอย่างไร้ความรับผิดชอบ

  • หลักฐานเชิงวัตถุ ที่ผู้เขียนต้นฉบับนำเสนอดูหนักแน่นมากสำหรับผู้สังเกตการณ์ที่เป็นกลาง จึงสงสัยว่าทำไมไม่ตอบโดยตรง
  • อยากรู้ว่า ตรวจสอบได้อย่างไร ว่ากรรมการมนุษย์ได้ตรวจผลงานที่ชนะทั้งหมดจริง ๆ
    ผลลัพธ์ดูไม่สอดคล้องกับคำอธิบายนั้น

• เป็นบทเรียนเชิงเมตาที่ดีที่ Kaggle ควรได้รับ
  AI เก่งเมื่อทำ การปรับให้เหมาะสมแบบไต่เนิน ไปยังตัวชี้วัดเชิงวัตถุ แต่ถ้าพึ่งพา LLM เป็นกรรมการ แบบลวก ๆ ผลลัพธ์จะไม่ดี

  • โซลูชันที่ชนะ Kaggle แทบไม่เคยเป็นโซลูชันเชิงวิศวกรรมที่ทีมสามารถดูแลให้ทำงานต่อเนื่องได้
    การทำให้ประสิทธิภาพโมเดลสูงสุด ตามเป้าหมายเชิงวัตถุเป็นเพียงส่วนเล็ก ๆ ของปัญหาทั้งหมด

• หากดูเนื้อหาที่ติดอยู่ตามที่ต่าง ๆ คำถามว่า “ถ้าอย่างนั้นใครควรชนะรางวัลแทน?” ก็เป็นคำถามที่สมเหตุสมผล
  เพราะผลงานที่ส่งเข้ามาทั้งหมดอาจคล้ายกัน หรือผลงานอื่นอาจแย่กว่าก็ได้ ดังนั้นต้องรู้ว่า ผลงานรองชนะเลิศและผลงานที่ยอดเยี่ยม คืออะไร จึงจะสามารถยกเลิกรางวัลและมอบให้ผู้เข้าร่วมคนอื่นได้เมื่อยืนยันได้ว่ามีการโกงหรือการละเลยหน้าที่
  ข้อผิดพลาดและการกล่าวเกินจริงอาจไม่ใช่สิ่งที่ AI สร้างขึ้น แต่อาจเป็นความผิดพลาดของมนุษย์ก็ได้ หากเป็นเช่นนั้น ระดับการตำหนิก็อาจลดลงได้

  • สมองของมนุษย์คนเดียวไม่มี พลังงานพอจะไตร่ตรองขยะ AI ทั้งหมด ที่ถาโถมเข้ามา และไม่ใช่งานที่มนุษย์ผู้มีขีดจำกัดจะรับมือได้
    แม้แต่งานวิจัยที่ว่า “ผู้เชี่ยวชาญชอบคำตอบของ LLM มากกว่า” หากดูเพียงไม่กี่ข้อ คำตอบของมนุษย์ก็ยังดีกว่า แต่ถ้าต้องตรวจ 50 ข้อ ก็มีแนวโน้มสูงที่จะตัดสินจากประโยคที่ลื่นไหลหรือปริมาณข้อเท็จจริงผิวเผิน แทนที่จะอ่านอย่างวิพากษ์
    กรณีนี้ก็ดูเหมือนว่าคณะกรรมการให้คะแนนโดยไม่ได้อ่านบทความ arXiv ยาว 20 หน้าจริง ๆ แม้ในเชิงอาชีพจะเอาผิดได้ แต่ในเชิงความรู้สึกก็อดเห็นใจไม่ได้
  • หากคำอธิบายถูกต้อง และผลงานทั้งหมดอยู่ในระดับนี้ ก็ไม่ควรมีใครชนะเลย
    ควรตัดสิทธิ์ทั้งหมด แล้วผู้จัดควรส่องกระจกทบทวนตัวเองอยู่นาน ๆ

• เป็นเรื่องน่าเสียดายที่พื้นที่อย่าง arXiv และ Kaggle ซึ่งครั้งหนึ่งเคยจริงจัง ถูกใช้เป็น เครื่องมือโปรโมตตัวเอง
  เข้าใจได้ว่าอยากได้งานในแล็บ AI แต่การเทผลงานสร้างอัตโนมัติคุณภาพต่ำลงในพื้นที่สาธารณะ กลับยิ่งทำร้ายจุดประสงค์ดั้งเดิมของพื้นที่นั้น

  • การใช้ arXiv เพื่อโปรโมตตัวเอง และใช้ Kaggle เป็นบันไดเข้าสู่วงการนั้น มีมานานแล้ว ไม่ใช่ปรากฏการณ์ที่เพิ่งเกิดขึ้นเมื่อเร็ว ๆ นี้

• ปฏิกิริยาที่ว่า “ผลงานชนะเลิศย่อมมีคุณค่าและทุ่มเทแรงไปมาก ดังนั้นอย่ากังวลกับความขัดแย้งหรือความผิดพลาดเล็กน้อย แล้วจงยอมรับผลลัพธ์” นั้นน่าประทับใจในแบบที่ชวนงงอย่างยิ่ง
  สุดท้ายก็เท่ากับบอกว่า ต่อให้เป็น ผลงานคุณภาพต่ำที่สร้างจาก hallucination ก็ยังมีคุณค่า และควรรับรองชัยชนะไว้เหมือนเดิม

  • ตลอดราว 100 ปีที่ผ่านมา นิยายวิทยาศาสตร์วาดภาพ AI ว่าเป็น สติปัญญาระดับสูง ที่ยึดอยู่กับ “ตรรกะ” แบบคลุมเครือแต่เป็นสากล และไม่มีข้อบกพร่องแบบมนุษย์ เช่น ความโอหัง ความเกลียดชัง ความอิจฉา หรือความปรารถนา
    ตอนนี้ชัดเจนแล้วว่านั่นเป็นสมมติฐานที่ไร้หลักฐาน แต่ก็เกิดขึ้นหลังจากผู้คนหลายพันล้านคนถูกฝึกให้ไม่สงสัยเครื่องจักรไปแล้ว
  • แค่ข้อเรียกร้องไร้เหตุผลของมนุษย์ที่ไม่สอดคล้องกับความเป็นจริง ก็ทำให้วิศวกรเหนื่อยพออยู่แล้ว
    หากผลงานสร้างอัตโนมัติคุณภาพต่ำอย่างโจ่งแจ้งถูกตัดสินโดยผลงานคุณภาพต่ำอีกชิ้น แล้วผู้วิจารณ์ถูกปฏิบัติเหมือนคนที่ไม่ยอมรับความพ่ายแพ้ การสนทนาอย่างมีเหตุผลก็เป็นไปไม่ได้
    ผู้เข้าร่วมใช้เวลามากมายด้วยเจตนาดีเพื่ออธิบายอย่างชัดเจน และยังคำนึงด้วยว่าตัวเองอาจพลาดอะไรไปหรือไม่ แต่เมื่อคนที่โปรย ขยะเชิงสถิติ โดยไม่คิดได้รับรางวัลจากกรรมการที่แยกแยะสิ่งนี้ไม่ออกซ้ำ ๆ คนเหล่านั้นก็จะหมดแรงและจากไปอย่างรวดเร็ว
    ท่าทีแบบนี้กำลังเพิ่มขึ้นในที่ทำงาน เอกสารองค์กร ความสัมพันธ์ทางสังคม และโซเชียลมีเดีย และสิ่งที่อยากทำคือกิจกรรมที่เป็นประโยชน์ต่อชีวิตร่วมกับผู้คนที่คิดจริงและฝึกฝนจิตใจจริง
    จะไม่ใช้เวลาและความสนใจกับชุมชนที่ยอมให้ผลงานสร้างอัตโนมัติคุณภาพต่ำดำรงอยู่ และหากไม่สื่อสารกันด้วยเจตนาดี ก็ไม่มีเหตุผลต้องมีความอดทนให้
    สำหรับ Kaggle ผู้มีส่วนร่วมในโอเพนซอร์ส และผู้สร้างคอนเทนต์ จะยอมให้ การละเมิดเพียงครั้งเดียวที่ทำลายความไว้วางใจ เท่านั้น ส่วนผู้ใต้บังคับบัญชาจะให้โอกาสหลายครั้งด้วยเหตุผลทางจริยธรรม แต่ต้องรับผิดชอบในฐานะผู้จัดการก่อน และสำหรับผู้นำระดับสูงจะให้โอกาสเพียงครั้งเดียว
    ความไว้วางใจมีค่า จึงต้องให้แต่ละฝ่ายรับผิดชอบต่อกัน และหากความสัมพันธ์ต้องขาดลงในกระบวนการนั้น ก็จำเป็นต้องยอมรับ
  • ทนกับ ท่าทีที่ว่า “แค่ให้คุณค่าได้ก็พอ” ไม่ไหว
    ควรหลีกเลี่ยงการเป็นคนโง่ที่มีประโยชน์ให้กับบริษัทไม่กี่แห่งที่นักลงทุนโปรดปราน ซึ่งประกาศต่อสาธารณะว่าจะผูกขาดตลาดและทำให้ธุรกิจกับงานของทุกคนหายไป