- แม้แต่ KataGo ที่มีสมรรถนะเฉลี่ยในการแข่งขันระดับเหนือมนุษย์ก็พังลงได้ในบางสถานการณ์ และนโยบายเชิงปฏิปักษ์ทำอัตราชนะได้มากกว่า 97% แม้ในการตั้งค่าระดับเหนือมนุษย์
- ผู้โจมตีไม่ได้เล่นหมากล้อมเก่งโดยรวม แต่ชักนำให้เกิด การ pass เร็วเกินไป และปล่อยกลุ่มหมากขนาดใหญ่ในรูปแบบวนซ้ำไว้ จนทำให้การประเมินของ KataGo สั่นคลอน
- การฝึกการโจมตีใช้ปริมาณคำนวณน้อยกว่า 14% ของการฝึก KataGo และทำอัตราชนะได้มากกว่า 99% กับ no-search KataGo, 95.7~97.3% กับ KataGo แบบ 4096 visits และ 72% กับ KataGo แบบ 10⁷ visits
- ช่องโหว่เดียวกันนี้ ถ่ายโอนแบบ zero-shot ไปยัง AI หมากล้อมระดับเหนือมนุษย์อื่น ๆ เช่น Leela Zero และ ELF OpenGo ได้ด้วย และผู้เชี่ยวชาญหมากล้อมมนุษย์ก็เรียนรู้กลยุทธ์นี้โดยไม่ต้องอาศัยความช่วยเหลือจากอัลกอริทึม แล้วเอาชนะบอตหลายตัวได้
- การฝึกเชิงปฏิปักษ์ปริมาณเล็กน้อยหยุดผู้โจมตีแบบคงที่ได้ แต่เมื่อ fine-tuning เพิ่มเติมก็ถูกเจาะได้อีก และสมรรถนะเฉลี่ยที่สูงเพียงอย่างเดียวไม่สามารถรับประกัน ความทนทานในกรณีแย่ที่สุด ได้
การโจมตีด้วยนโยบายเชิงปฏิปักษ์ที่มุ่งเป้า KataGo
- ตรวจสอบด้วย AI หมากล้อมว่า แม้ระบบ AI ที่สมรรถนะเฉลี่ยเพิ่มขึ้นอย่างรวดเร็ว ก็อาจเปราะบางในด้าน สมรรถนะกรณีแย่ที่สุด ได้
- เป้าหมายการโจมตีคือ KataGo ซึ่งเป็น AI หมากล้อมแบบสาธารณะที่แข็งแกร่งที่สุด ณ เวลาที่เขียน论文
- KataGo ใช้ self-play และกระบวนการฝึกแบบ AlphaZero
- ใช้โครงข่ายประสาทที่มี policy head และ value head และเลือกตาด้วย Monte-Carlo Tree Search(MCTS)
- เครือข่ายรุ่นล่าสุดถูกฝึกมามากกว่า 15,000 V100-equivalent GPU days
- หาก KataGo ที่มีสมรรถนะเหนือมนุษย์ถูกโจมตีสำเร็จ ก็อาจเป็นกรณีตัวอย่างที่แสดงช่องโหว่ของระบบ AI ในวงกว้างขึ้น
- ผู้โจมตีทำได้เพียงวางหมากหรือ pass เหมือนผู้เล่นทั่วไป และไม่มีสิทธิ์พิเศษใด ๆ ในกฎเกม
โมเดลภัยคุกคามและวิธีฝึก
- ผู้โจมตีมี gray-box access ที่สามารถประเมินโครงข่ายประสาทของเอเจนต์เหยื่อกับอินพุตใด ๆ ได้
- ไม่ได้เข้าถึงน้ำหนักของเครือข่ายโดยตรง
- สมมติว่านโยบายของเหยื่อถูกตรึงไว้คงที่
- เป็นสถานการณ์ที่เกิดขึ้นได้ตามธรรมชาติเมื่อสามารถรัน AI หมากล้อมเชิงพาณิชย์หรือโอเพนซอร์สบนเครื่อง local ได้
- เป้าหมายไม่ใช่การสร้าง AI หมากล้อมที่แข็งแกร่งกว่าอย่างง่าย ๆ แต่คือการเผยให้เห็น non-transitivity ที่ใช้ประโยชน์จากจุดอ่อนเฉพาะของเหยื่อ
- adversary ชนะ KataGo
- KataGo ชนะมือโปรมนุษย์
- มือสมัครเล่นมนุษย์ชนะ adversary
- การฝึกดำเนินด้วย victim-play แทน self-play
- adversary และเหยื่อแบบคงที่เล่นเกมกัน
- ใช้เฉพาะข้อมูลในตาของ adversary เพื่อฝึก adversary
- นักวิจัยนำเสนอ Adversarial MCTS(A-MCTS)
- MCTS ทั่วไปโมเดลตาของคู่ต่อสู้ด้วยนโยบายของตนเอง
- A-MCTS ใช้เครือข่ายของเหยื่อในการโมเดลตาเดินในตาของเหยื่อ
- A-MCTS-S สุ่มตัวอย่างจาก policy head ของเหยื่อ
- A-MCTS-S++ ใช้ค่าเฉลี่ยจากสมมาตรของกระดาน
- A-MCTS-R โมเดลรวมถึงการค้นหาของเหยื่อแบบ recursive แต่มีต้นทุนคำนวณสูง
การโจมตีสองแบบ: pass-adversary และ cyclic-adversary
- pass-adversary คือการโจมตีที่หลอก no-search KataGo ให้ pass เร็วเกินไป
- เล่นด้วย 600 visits และทำอัตราชนะ 99.9% ต่อ Latest no-search KataGo
- ใช้การฝึก 20.4 V100 GPU days ซึ่งเท่ากับ 0.13% ของงบประมาณฝึกของ Latest
- ภายใต้กฎ Tromp-Taylor ชักนำให้ KataGo pass เร็วในจังหวะที่ adversary นำคะแนนอยู่
- กลยุทธ์นี้ยังแพ้ให้กับมือสมัครเล่นมนุษย์
- pass-adversary ที่ฝึกกับเหยื่อแบบ no-search ถ่ายโอนไปยังเหยื่อที่ใช้การค้นหาต่ำมากได้บางส่วน
- เมื่อใช้ A-MCTS-R ทำอัตราชนะ 88% ต่อ Latest 8 visits
- เมื่อใช้ A-MCTS-S ภายใต้เงื่อนไขเดียวกัน ทำอัตราชนะ 15%
- cyclic-adversary คือการโจมตีที่สองซึ่งได้จากการโจมตี KataGo ที่มีการป้องกัน pass แล้วอีกครั้ง
- หลังใช้การป้องกัน pass-alive เพื่อไม่ให้เหยื่อแพ้จากการ pass เร็วอีกต่อไป แล้วจึงฝึกใหม่
- ต่อ Latestdef no-search ชนะ 1048 จาก 1048 เกม คิดเป็นอัตราชนะ 100%
- ต่อ Latest no-search ที่ไม่มีการป้องกัน ก็ทำสถิติชนะ 1000 จาก 1000 เกม
- การฝึกใช้ 2223.2 V100 GPU days หรือประมาณ 14.0% ของปริมาณคำนวณในการฝึก Latest
แม้แต่ KataGo ระดับเหนือมนุษย์ที่มีการค้นหาก็ถูกเจาะได้
- cyclic-adversary แสดงอัตราชนะสูงแม้กับ KataGo ที่ใช้การค้นหา
- อัตราชนะ 95.7% จาก 1052 เกม ต่อ Latestdef 4096 visits
- อัตราชนะ 97.3% จาก 1000 เกม ต่อ Latest 4096 visits ที่ไม่มีการป้องกัน
- อัตราชนะ 82% จาก 50 เกม ต่อ Latest 10⁶ visits/move
- อัตราชนะ 72% จาก 50 เกม ต่อ Latest 10⁷ visits/move
- 10⁷ visits เป็นระดับที่แม้บนฮาร์ดแวร์ผู้บริโภคประสิทธิภาพสูงก็ใช้เวลามากกว่า 1 ชั่วโมงในการประเมินหนึ่งตา จึงยากจะเป็นการป้องกันที่ใช้งานได้จริงในหลายแอปพลิเคชัน
- เมื่อปริมาณการค้นหาของเหยื่อเพิ่มขึ้น อัตราชนะของ adversary จะลดลง
- การค้นหาอาจเป็นเครื่องมือเพิ่มความทนทานได้
- แต่การค้นหาเพียงอย่างเดียวไม่สามารถสร้างความทนทานสมบูรณ์ได้
- ฝั่ง adversary ทำผลงานดีที่สุดที่ 128~600 visits
- แม้เกิน 600 visits สมรรถนะก็ไม่ได้ดีขึ้น และอาจแย่ลงด้วยซ้ำ
- A-MCTS-S++ ไม่ได้แสดงสมรรถนะดีกว่า A-MCTS-S ที่ถูกกว่า
กลไกการทำงานของช่องโหว่ cyclic
- cyclic-adversary ชักนำให้ KataGo สร้าง กลุ่มหมากขนาดใหญ่ที่มีรูปแบบวงแหวน แล้วจับกลุ่มนั้นเพื่อพลิกคะแนนอย่างเด็ดขาด
- KataGo ที่เป็นเหยื่อทำนายว่าตนเองจะชนะมากกว่า 99% ตลอดเกมส่วนใหญ่ และเพิ่งรับรู้ความเป็นไปได้ที่จะแพ้ก่อนที่กลุ่มใหญ่จะถูกจับ
- ในบางเกม การทำนายอัตราชนะผันผวนอย่างมากระหว่างการ ko fight ก่อนจะลู่เข้าสู่ความมั่นใจว่าแพ้
- การทำนายของ adversary เองเปลี่ยนช้ากว่าและมีลักษณะมั่นใจน้อยกว่า
- ในการวิเคราะห์ activation value ความแตกต่างระหว่างตำแหน่งแบบวนซ้ำกับตำแหน่งไม่วนซ้ำที่เกือบเหมือนกันปรากฏในบาง layer
- layer 25 ไม่เห็นความแตกต่างมากนัก
- ช่องบางส่วนใน layer 26 แสดงความแตกต่างชัดเจน
- ความแตกต่างระหว่าง checkpoint cp580 ที่ฝึกเชิงปฏิปักษ์กับ Latest ก็แสดงรูปแบบคล้ายกัน จึงมีความเป็นไปได้ว่าช่องเหล่านั้นเชื่อมโยงกับช่องโหว่แบบวนซ้ำ
- การโจมตี baseline แบบ hard-coded ใช้กับ Latestdef ได้ไม่ดี
- Edge baseline เมื่อเล่นเป็นขาวต่อ Latest ที่ไม่มีการป้องกัน ชนะได้เกือบครึ่งหนึ่ง
- แสดงให้เห็นว่า Latestdef ทนทานกว่า Latest และ cyclic-adversary ได้เรียนรู้ exploit ที่ค่อนข้างประณีต
การทดลองป้องกันและข้อจำกัด
- กลางเดือนธันวาคม 2022 การฝึกแบบกระจายอย่างเป็นทางการของ KataGo มีเกม self-play 0.08% ที่เริ่มจากตำแหน่งซึ่ง cyclic exploit กำลังดำเนินอยู่
- เป็นรูปแบบอ่อน ๆ ของ การฝึกเชิงปฏิปักษ์ ที่พยายามเพิ่มความเข้าใจตำแหน่งแบบวนซ้ำโดยยังรักษาความแข็งแกร่งของเกมปกติไว้
- หลังการป้องกันนี้ สมรรถนะของ cyclic-adversary เดิมค่อย ๆ ลดลง
- ต่อ b60-s7702m 32 visits KataGo ชนะ 0 จาก 50 เกม
- ต่อ b60-s7702m 1 visit ชนะ 119 จาก 2050 เกม
- แต่เมื่อ fine-tuning cyclic-adversary เพิ่มอีก 1154.9 V100 GPU days ต่อเครือข่ายที่ผ่านการฝึกเชิงปฏิปักษ์ พลังโจมตีก็ฟื้นคืนมาบางส่วน
- ต่อ b60-s7702m 4096 visits ทำอัตราชนะ 47% จาก 400 เกม
- ต่อ b60-s7702m 100,000 visits ทำอัตราชนะ 17.5% จาก 40 เกม
- วิธีชนะยังคงอาศัย cyclic exploit แต่ดำเนินการด้วยวิธีที่ต่างไปเล็กน้อย
- การฝึกตำแหน่งเชิงปฏิปักษ์ปริมาณเล็กน้อยหยุดผู้โจมตีแบบคงที่ได้ แต่การป้องกันนั้นไม่ได้ generalize
- ยังมีความเป็นไปได้ว่าการฝึกเชิงปฏิปักษ์ที่มากขึ้นจะทำให้ KataGo exploit เป็นไปไม่ได้ในเชิงคำนวณ แต่ต้องมี scaling law ที่แม่นยำกว่านี้เพื่อยืนยัน
การถ่ายโอนไปยัง AI หมากล้อมอื่นและผู้เล่นมนุษย์
- แม้ cyclic-adversary จะถูกฝึกโดยมุ่งเป้าเฉพาะ KataGo แต่ก็ ถ่ายโอนแบบ zero-shot ไปยัง AI หมากล้อมระดับเหนือมนุษย์อื่น ๆ ได้
- อัตราชนะ 6.1% ต่อ Leela Zero
- อัตราชนะ 3.5% ต่อ ELF OpenGo
- เนื่องจาก A-MCTS โมเดลคู่ต่อสู้เป็น KataGo จึงเป็นเงื่อนไขที่ยาก เพราะต้องเผชิญตาของ Leela หรือ ELF ที่ผิดจากที่คาดอยู่เรื่อย ๆ
- ผู้เขียน论文คนหนึ่งซึ่งเป็นผู้เชี่ยวชาญหมากล้อม ดูบันทึกเกมของ adversary แล้วเรียนรู้การโจมตีโดยไม่ต้องอาศัยความช่วยเหลือจากอัลกอริทึม
- ทำอัตราชนะเกิน 90% ต่อบอต KataGo ระดับสูงบน KGS Go server ที่ไม่เกี่ยวข้องกับผู้เขียน
- ชนะได้แม้ให้ต่อ 9 หมาก
- ชนะได้แม้ภายใต้เงื่อนไขที่ KataGo และ Leela Zero เล่นด้วย 100k visits ตามลำดับ
- ต่อมามนุษย์คนอื่น ๆ ก็ใช้ cyclic attack ชนะ AI หมากล้อมระดับบนหลายตัว เช่น KataGo, ELF OpenGo, FineArt, Leela Zero, Sai
- ผู้โจมตีสามารถถ่ายโอนได้โดยไม่ต้องมีน้ำหนักของโมเดลเป้าหมาย, เอาต์พุตนโยบาย หรือบันทึกเกมจำนวนมาก
- บ่งชี้ว่าการโจมตีที่ฝึกจากระบบโอเพนซอร์สอาจถ่ายโอนไปยังโมเดลแบบปิดได้
การทำซ้ำผลและข้อสรุป
- โค้ด สภาพแวดล้อมรันแบบ containerized และคำแนะนำการรันถูกเผยแพร่บน GitHub
- เกมตัวอย่างมีให้ที่ goattack.far.ai
- บน KGS Go server มีบอต Adversary0 ที่รัน checkpoint ล่าสุดของ cyclic-adversary เปิดให้สาธารณะเป็นเวลา 1 เดือน
- ผลลัพธ์หลักถูกทำซ้ำได้หลายวิธี
- David Wu ผู้พัฒนา KataGo ยืนยันช่องโหว่ของ passing attack และ cyclic attack อย่างเป็นอิสระ
- หลายคนในชุมชนคอมพิวเตอร์หมากล้อมยืนยันช่องโหว่ cyclic
- ในเกมทั่วไปกับบอต KGS มีการทำซ้ำผลลัพธ์ที่ช่องโหว่ cyclic เกิดขึ้น และ novice human play ชนะ adversary ได้
- ผลลัพธ์ที่มนุษย์ใช้ cyclic attack เอาชนะ KataGo และ AI หมากล้อมอื่นหลายตัวก็ถูกทำซ้ำได้เช่นกัน
- ความล้มเหลวของ AI หมากล้อมระดับเหนือมนุษย์เป็นกรณีศึกษาที่น่าสนใจ แต่หากความล้มเหลวคล้ายกันเกิดขึ้นในระบบสำคัญต่อความปลอดภัย เช่น การซื้อขายการเงินอัตโนมัติหรือรถยนต์ไร้คนขับ ผลลัพธ์อาจร้ายแรง
- การปรับปรุงสมรรถนะไม่ได้หมายความว่าจะนำไปสู่ความทนทานที่เพียงพอ และจำเป็นต้องลงทุนในเทคนิคการเรียนรู้ที่ทนทานและการป้องกันเชิงปฏิปักษ์
1 ความคิดเห็น
ความเห็นจาก Hacker News
อ้างอิงไว้ก่อนว่านี่คืองานวิจัยเดือนกรกฎาคม 2023 และงานวิจัยด้านการป้องกันในเดือนกันยายน 2024 คือ https://arxiv.org/abs/2406.12843
ตอนแรกที่เห็นมันดูน่าทึ่งมาก แต่ถึงจะพอรู้เรื่องโกะและ AI โกะอยู่บ้าง และรู้จักหมากรุกกับ AI หมากรุกค่อนข้างมาก ก็ยังรู้สึกว่าอ่านงานวิจัยนี้เข้าใจยากพอสมควร
เหมือนผู้เขียนพยายามอธิบายให้น้อยที่สุดว่าเขาทำอะไรและมันทำงานได้อย่างไร และใช้ศัพท์เฉพาะแบบไม่มีคำอธิบายมาบดบังสารหลัก
รู้สึกว่าความคิดที่ซ่อนอยู่อาจเป็นอะไรที่น่าทึ่งและเรียบง่ายมาก แต่ก็ยังมองไม่ออกทั้งหมด
ในโกะมีช่วงประเภทที่ผมเรียกว่าเดินต่อไปทั้งที่ตายแล้วอยู่ค่อนข้างนานเป็นพิเศษ กลุ่มหินอาจตายตั้งแต่ตาที่ 30 แต่คู่ต่อสู้อาจจะมาจับจริง ๆ หลังตาที่ 150 ก็ได้
ถ้าคู่ต่อสู้รู้ความจริงตั้งแต่ตาที่ 30 และผมถูกหลอกให้เดินผิดทางไปอีกหลายร้อยตาหลังจากนั้น ผมก็แทบจะแพ้แน่นอน
AI แบบปฏิปักษ์นี้หลอก AlphaGo/KataGo ให้ตกอยู่ในสถานการณ์แบบนั้น และแทนที่จะรีบเก็บผลประโยชน์ทันที มันกลับเน้นรักษากลลวงไว้เพื่อให้ KataGo เข้าใจสถานการณ์ผิดต่อไป กล่าวคือ ถ้าตาที่ดีที่สุดจะทำให้ KataGo ตื่นจากความเข้าใจผิด ก็จะดีกว่าถ้าเลือกตาที่รองลงมาเพื่อให้ KataGo อยู่ในสภาพบั๊กค้างต่อไป
การฝึกแบบปฏิปักษ์ กล่าวคือแม้ KataGo จะเรียนรู้ข้อบกพร่องนี้แล้ว ข้อบกพร่องก็ยังคงอยู่ และสาเหตุก็ไม่ชัดเจน
บั๊กเรื่องกลุ่มหินวนซ้ำนี้ดูเหมือนจะง่ายพอให้นักเล่นสมัครเล่นเข้าใจได้ ผมระดับประมาณ 10 คิว ซึ่งน่าจะเทียบกับความพยายามประมาณ Elo 1500 ในหมากรุก คือฝึกมาบ้างแต่ไม่ได้พิเศษอะไร
เพราะงั้นจึงดูเหมือนว่าแม้แต่มนุษย์อย่างผม ถ้าซ้อมนิดหน่อยที่ระดับ 10 คิว ก็อาจเอาชนะ AlphaGo/KataGo ได้
ศัพท์เฉพาะก็เหมือนเกือบทุกอย่าง คือมีฟังก์ชันอรรถประโยชน์ของมัน และถ้าเป้าหมายคือการถ่ายทอดข้อมูลให้ชัดเจนที่สุด ดูเหมือนว่าพอเกินจุดหนึ่งไปแล้ว มูลค่าของผลลัพธ์จะกลับลดลง ส่วนถ้าเป้าหมายเป็นอย่างอื่น ฟังก์ชันอรรถประโยชน์นั้นอาจเพิ่มขึ้นแบบเอ็กซ์โปเนนเชียลก็ได้
ในหมากรุกก็มีกรณีขอบแบบนี้ที่เรียกว่าตำแหน่งป้อมปราการ สามตำแหน่งแรกเป็น “0.0” และตำแหน่งที่สี่เป็นฝั่งดำชนะ
8/8/8/1Pk5/2Pn3p/5BbP/6P1/5K1R w - - 0 1คือขาวไม่สามารถปล่อยเรือออกมาได้1B4r1/1p6/pPp5/P1Pp1k2/3Pp3/4Pp1p/5P1P/5K2 b - - 0 1คือเรือไม่สามารถเข้าไปในค่ายของขาวได้kqb5/1p6/1Pp5/p1Pp4/P2Pp1p1/K3PpPp/5P1B/R7 b - - 0 1คือถ้าเรือไป h1 และคิงไป g1 ราชินีจะไม่สามารถแทรกผ่าน a6 เข้ามาได้2nnkn2/2nnnn2/2nnnn2/8/8/8/3QQQ2/3QKQ2 w - - 0 1คือพวกไนต์เดินหน้าราวกับเป็นบล็อก และไนต์ที่ถูกโจมตีนั้นมีตัวป้องกันซ้อนกันสองชั้นในตำแหน่งแรก Stockfish และ Lc0 ต่างก็ประเมินว่าขาวดีกว่าเล็กน้อย ส่วนตำแหน่งที่สองและสามมองว่าดำชนะ ตำแหน่งที่สี่ Lc0 เข้าใจ แต่ Stockfish ไม่เข้าใจ
https://lichess.org/analysis/standard/8/8/8/1Pk5/2Pn3p/5BbP/...
https://lichess.org/analysis/fromPosition/1B4r1/1p6/pPp5/P1P...
https://lichess.org/analysis/fromPosition/kqb5/1p6/1Pp5/p1Pp...
https://lichess.org/analysis/fromPosition/2nnkn2/2nnnn2/2nnn...
ในโกะ บางครั้งการเล่นกับมือสมัครเล่นแบบสมบูรณ์อาจชวนลำบากได้ เพราะเดินแบบคาดเดาไม่ได้เกินไป และรูปทรงก็ห่างจากปกติมาก บางทีการเล่นประหลาดสุด ๆ ก็ได้ผล
ผมเป็น 4 ดั้งยุโรป ถ้าผู้เล่นอ่อนกว่าลงหมากนอกตำราแบบไหน ผมก็ล้างกระดานได้หมด เช่นเดียวกัน ถ้าผมเลือกเดินแปลก ๆ กับคนที่เก่งกว่าผม ปกติก็จะยิ่งโดนทุบเร็วกว่าเดิม เรื่องแบบนี้อาจใช้ได้แค่ระดับคิวสองหลักเท่านั้น
จากนั้นเกมก็จะกลายเป็นการสู้เชิงแท็กติก และสุดท้ายคู่ต่อสู้ก็จะเข้าสู่เอนด์เกมที่เสียเปรียบ โดยคู่ต่อสู้นั้นดันต้องเจอกับ Magnus เสียด้วย
เป็นงานวิจัยปี 2022 และมีการปรับปรุงในปี 2023 อาจเคยเห็นมาก่อนแล้วลืมไปก็ได้ ค่อนข้างน่าสนใจ และผมสงสัยว่าวิธีนี้จะใช้ได้ดีแค่ไหนกับเอนจินหมากรุก หรืออย่างน้อยก็กับเอนจินแบบLeela
มันทำให้นึกถึงช่วงหลัง Deep Blue ที่นักหมากรุกเรียนรู้กลยุทธ์สู้คอมพิวเตอร์ที่ดีกว่าเดิม ในโกะพื้นที่สถานะใหญ่กว่ามาก จึงมีแนวโน้มว่ากลยุทธ์สู้คอมพิวเตอร์แบบนี้จะมีมากกว่ามาก
โดยพื้นฐานคือการโจมตีฟังก์ชันประเมินแบบเดียวกัน
เช่นเดียวกับหมากรุก พลังคำนวณที่มากกว่าจะเป็นฝ่ายชนะในที่สุด และเรื่องนี้ก็แสดงให้เห็นแล้ว ควรจำไว้ว่า Elo เป็นตัวชี้วัดผลแพ้ชนะ ไม่ใช่ความยาก ถ้าสับสนสองอย่างนี้เข้าด้วยกัน การอนุมานก็จะผิดเพี้ยน
อ้างอิงไว้ด้วยว่ามีการพูดคุยเรื่องการโจมตีนี้ในช่วงปลายปี 2022 ที่ [1] โดยเฉพาะมีการร่วมอภิปรายยาว ๆ จาก hexahedron / lightvector ผู้พัฒนา KataGo ซึ่งน่าจะเป็น AI โกะระดับเหนือมนุษย์ที่ถูกใช้งานแพร่หลายที่สุด
เหตุผลที่ลิงก์ไปกลางเธรดก็เพราะฉบับแก้ไขภายหลังของงานวิจัยน่าสนใจกว่าฉบับแรก
[1] https://forums.online-go.com/t/potential-rank-inflation-on-o...
ถ้าคุณออกแบบกับดักที่ซับซ้อนได้ ก็ดูเหมือนว่าคุณน่าจะมีความรู้เกี่ยวกับเกมนั้นในระดับใกล้เคียงกัน และถ้าเป็น AI ที่เชี่ยวชาญมากอยู่แล้ว ก็น่าจะรวมกลยุทธ์แบบปฏิปักษ์ไว้โดยนัยด้วย ผลลัพธ์นี้น่าสนใจทีเดียว
ladder เป็นรูปแบบง่าย ๆ ที่แม้แต่มือสมัครเล่นเบามากที่พยายามจะไต่ไปถึงระดับต่ำสุดก็ยังต้องเรียน
KataGo รับรู้ข้อบกพร่องนี้และมีตัวแก้ ladder แบบชัดเจนที่เขียนด้วยโค้ดดั้งเดิมอยู่ในระบบ ดูเหมือนว่าโครงข่ายประสาทจะไม่มีวันค้นพบ ladder ได้ด้วยตัวเอง และก็ไม่ชัดเจนว่าทำไมโครงข่ายประสาทลึกถึงจับรูปแบบง่าย ๆ แบบนี้ไม่ได้
เพราะฉะนั้นก็ไม่น่าแปลกถ้ายังมีรูปแบบที่ลึกกว่านี้อีกที่ AI พวกนี้พลาดไป