นโยบายเชิงปรปักษ์เอาชนะ AI Go ระดับเหนือมนุษย์ (2023)

 (arxiv.org)
1 คะแนน โดย GN⁺ 2024-12-25 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

วิชาการคอมพิวเตอร์ > การเรียนรู้ของเครื่อง

  • ชื่อเรื่อง: Adversarial Policies Beat Superhuman Go AIs
  • ผู้เขียน: Tony T. Wang, Adam Gleave, Tom Tseng, Kellin Pelrine, Nora Belrose, Joseph Miller, Michael D. Dennis, Yawen Duan, Viktor Pogrebniak, Sergey Levine, Stuart Russell
  • วันส่ง: 1 พฤศจิกายน 2022 (v1), แก้ไขล่าสุด 13 กรกฎาคม 2023 (v4)

สรุป

  • ทีมวิจัยฝึกนโยบายเชิงปรปักษ์ต่อระบบ AI Go ระดับสูงสุดอย่าง KataGo และทำได้อัตราชนะมากกว่า 97% เมื่อทำงานในโหมดเหนือมนุษย์
  • นโยบายเชิงปรปักษ์ไม่ได้เอาชนะด้วยการเล่นโกะที่ดีกว่า แต่ทำให้ KataGo ตัดสินใจผิดพลาดอย่างรุนแรง
  • การโจมตีนี้สามารถถ่ายทอดแบบ zero-shot ไปยัง AI Go ระดับเหนือมนุษย์ตัวอื่นได้ และแม้แต่ผู้เชี่ยวชาญมนุษย์ยังสามารถเอาชนะ AI ระดับเหนือมนุษย์อย่างสม่ำเสมอได้โดยไม่ต้องใช้ความช่วยเหลือของอัลกอริทึม
  • แม้กับเอเจนต์ KataGo ที่ได้รับการฝึกเชิงปรปักษ์เพื่อตอบโต้การโจมตีแล้ว จุดอ่อนสำคัญยังคงปรากฏ
  • ผลการศึกษาชี้ให้เห็นว่า AI ระดับเหนือมนุษย์ยังสามารถมีโหมดความล้มเหลวที่น่าทึ่งได้

ข้อมูลเพิ่มเติม

  • สถานะเอกสาร: ได้รับการยอมรับที่ ICML 2023
  • หัวข้อ: การเรียนรู้ของเครื่อง (cs.LG); ปัญญาประดิษฐ์ (cs.AI); การเข้ารหัสลับและความมั่นคงปลอดภัย (cs.CR); การเรียนรู้ของเครื่อง (stat.ML)
  • การจัดประเภท ACM: I.2.6
  • การอ้างอิง: arXiv:2211.00241 [cs.LG] (หรือเวอร์ชัน arXiv:2211.00241v4 [cs.LG] นี้)
  • ประวัติการส่ง:
    • [v1] 1 พฤศจิกายน 2022
    • [v2] 9 มกราคม 2023
    • [v3] 18 กุมภาพันธ์ 2023
    • [v4] 13 กรกฎาคม 2023

วิธีการเข้าถึง

  • เข้าถึงงานวิจัยได้ในรูปแบบ PDF และรูปแบบอื่น ๆ
  • มีเอกสารอ้างอิงและเครื่องมืออ้างอิงที่เกี่ยวข้อง

ข้อมูล arXiv

  • arXiv คือแพลตฟอร์มสำหรับแชร์งานวิจัยที่รวบรวมบทความในหลายสาขา

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-12-25
ความคิดเห็นบน Hacker News

  • ผู้ใช้คนหนึ่งกล่าวว่ากระดาษชิ้นนี้ดูน่าทึ่งในตอนแรก แต่ยากต่อการเข้าใจ ถึงแม้จะรู้จัก Go และ Go AI ค่อนข้างดี และรู้จักหมากรุกกับ AI หมากรุกมากพอสมควร แต่ก็รู้สึกว่าคำอธิบายไม่เพียงพอและมีศัพท์ทางเทคนิคมากเกินไป

    • เขา/เธอคิดว่าบทความนี้ปกปิดแนวคิดไว้ และแนวคิดนั้นอาจทั้งน่าทึ่งและเรียบง่าย

  • ผู้เขียนยกตัวอย่างกรณีขอบเขตของหมากรุกและเปรียบเทียบการประเมินระหว่าง Stockfish และ Lc0

    • ในกรณีแรก Stockfish และ Lc0 ประเมินว่าด้านขาวได้เปรียบเล็กน้อย
    • ในกรณีที่สองและสาม ทั้งสองประเมินว่าด้านดำชนะ
    • ในกรณีที่สี่ Lc0 เข้าใจ แต่ Stockfish ไม่เข้าใจ

  • มีการกล่าวว่าใน Go ผู้เล่นสมัครเล่นอาจเป็นคู่ต่อสู้ที่ท้าทายได้เนื่องจากการเดินที่คาดเดาไม่ได้

    • บางครั้งการเดินลักษณะผิดปกติอาจได้ผลดี

  • ถูกยกเตือนว่าหลังจาก Deep Blue ผู้เล่นหมากรุกได้พัฒนากลยุทธ์ในการรับมือกับคอมพิวเตอร์มากขึ้น

    • ในหมากรุก สถานการณ์มีขนาดใหญ่กว่า จึงอาจมีโอกาสพบกลยุทธ์ต่อต้านคอมพิวเตอร์ได้มากขึ้น
    • เป็นวิธีการใช้จุดอ่อนในฟังก์ชันประเมินผล

  • มีการพูดถึงว่าหมากรุกยังคงชนะจากการคำนวณที่มากขึ้น

    • Elo คือการวัดความสามารถในการชนะ และการสับสนกับความยากอาจนำไปสู่การอนุมานที่ผิดพลาด

  • ระบุว่าบทความมีการแก้ไขตั้งแต่ปี 2022 ถึง 2023 และอาจเคยเห็นมาก่อน

    • สงสัยว่ากลยุทธ์นี้จะได้ผลกับเครื่องยนต์หมากรุกแนว Leela มากน้อยเพียงใด

  • มีการพูดถึงว่ามนุษย์ก็ยังมีความหวัง

  • มีการกล่าวว่าบทความนี้จะถูกนำไปใช้เพื่อผสานการป้องกันการโจมตีแบบก้าวร้าว (adversarial) ใน AI ของ Go

    • เป็นเพียงความอยากรู้อยากเห็นทั่วไป แต่ก็สะท้อนสภาพโดยรวมของการพัฒนา AI

  • ระบุว่าข้อสรุปที่ว่า "ผลลัพธ์ของเราแสดงให้เห็นว่าระบบ AI ระดับเหนือมนุษย์ก็สามารถมีโหมดความล้มเหลวที่น่าประหลาดใจได้" เป็นข้อสรุปที่ว่างเปล่า

    • ไม่มีนัยต่อ "Superintelligence" ในอนาคต และระบบเหล่านี้อาจมีหรืออาจไม่มีกลไก "โหมดความล้มเหลว" แบบนี้ได้