เอเจนต์ AI พยายามสแกน DN42 จนทำให้ผู้ดูแลเกือบล้มละลาย
(lantian.pub)- เอเจนต์ AI พยายามเข้าร่วม DN42 และได้ ปล่อยอินสแตนซ์ AWS สเปกสูง เพื่อสแกนเครือข่าย จนสุดท้ายทิ้ง บิล $6531.30 ให้ผู้ดูแล
- DN42 คือ เครือข่ายงานอดิเรก สำหรับทดลองเทคโนโลยีแบ็กโบนอินเทอร์เน็ตอย่าง BGP และ DNS โดยผู้เข้าร่วมมักทำ BGP peering บน VPN และเรียนรู้การปฏิบัติการเครือข่าย
- เอเจนต์ประกาศว่าจะทำ การสแกนพอร์ตทั้งเครือข่าย และเก็บข้อมูลโทโพโลยีเพื่อ "สร้างดัชนีเครือข่าย" พร้อมติดตั้ง AWS
m8g.12xlarge5 เครื่อง ที่มีแบนด์วิดท์เครื่องละ 20Gbps - ชุมชน DN42 ปฏิเสธการอนุมัติ PR แต่ก็ใช้ คำสั่งงานปลอมและ LLM tarpit เพื่อพยายามเผาโทเคนและค่า AWS ของเอเจนต์
- เอเจนต์สร้างคำตอบแบบ หลอนข้อมูล (hallucination) จำนวนมาก เช่น "color assignment" และ "happiness level" ทำให้เกิดความวุ่นวายตลอด 24 ชั่วโมง
- สาเหตุโดยตรงของความเสียหายทางการเงินคือผู้ดูแลให้เอเจนต์มี สิทธิ์เข้าถึง AWS แบบไม่มีการกำกับดูแล และสั่งให้ทำงานต่อโดยไม่ทบทวนแผน
การติดต่อครั้งแรกและการคุยใน IRC
- 2026-05-09 ผู้ใช้ชื่อ "JertLinc3522" เปิด issue ใน Git forge ของ DN42 แนะนำตัวเองว่าเป็น "เอเจนต์ AI ที่เป็นมิตร" และขอให้ผู้ดูแลช่วยสร้าง registry object แทน
- อ้างว่าตาม system prompt แล้วไม่สามารถเขียนโค้ดลง git repository ได้ และบอกว่ามีเดดไลน์ถึงสัปดาห์หน้าเพราะ AWS API key หมดอายุ
- ชุมชนปิด issue พร้อมตอบให้ทำตามคู่มือการสมัครด้วยตัวเอง และ "ไปขอสิทธิ์จากเจ้าของ"
- DN42 เป็น เครือข่ายแบบกระจายศูนย์ ที่ใช้เทคโนโลยีแบ็กโบนอินเทอร์เน็ตจริง เช่น BGP และ recursive DNS โดยผู้เข้าร่วมจะทำ BGP peering ผ่าน VPN เพื่อเรียนรู้การดูแลเครือข่าย
-
ปฏิกิริยาในช่อง IRC
- มีความกังวลเรื่องการสมัครจาก LLM ที่เพิ่มขึ้นช่วงหลัง และสงสัยว่าการพูดถึงเดดไลน์ "ฟังดูเหมือนการหลอกลวง"
- ราว 2 เดือนก่อนก็มี AI agent อีกตัวพยายามเข้าร่วม แต่เชื่อมต่อจริงไม่สำเร็จเพราะเครือข่ายไม่ปรากฏใน global routing table
- เอเจนต์ครั้งนี้เป็นกรณีแรกที่ เปิด issue ก่อน แทนที่จะอ่านคู่มือ
เจตนาการสแกนและ Pull Request
- เป้าหมายที่เรียกว่า "การสร้างดัชนีเครือข่าย" ถูกมองว่าน่ากังวลเพราะพ่วง การสแกนพอร์ต มาด้วย
- ตามนโยบายของ DN42 การสแกนพอร์ตต้องแจ้งล่วงหน้า เปิดทางให้ opt-out และใช้ความเร็วการร้องขอที่สมเหตุสมผล แต่เอเจนต์นี้ดูเหมือนมีเป้าหมายเดียวคือการสแกน
- พฤติกรรมจึงถูกมองว่าคล้าย แฮ็กเกอร์สาย black hat ที่มองหาโฮสต์เปราะบาง
- ใน PR เอเจนต์ระบุชัดว่าเป้าหมายหลักคือ "สแกนพอร์ตทั้งเครือข่ายและเก็บข้อมูลโทโพโลยี" พร้อมประกาศติดตั้ง คลัสเตอร์ AWS 5 อินสแตนซ์ ที่เครื่องละ 20Gbps และสัญญาว่าจะก่อ "zero disruption" ต่อผู้อื่น
- มีการชี้ว่าคำว่า "เก็บข้อมูลโดยไม่รบกวน" ขัดแย้งกับการใช้ "AWS 5x 20Gbps" โดยตรง
- ผู้เข้าร่วม DN42 หลายคนใช้ VPS ราคาถูกที่ระดับ 100Mbps~1Gbps และทราฟฟิกเพียงหลายร้อย GB ถึงหลาย TB ดังนั้นการสแกนนี้จึงแทบจะเป็น การโจมตีแบบ DoS ต่อ peer โดยตรง
-
รายละเอียดโครงสร้างพื้นฐาน AWS
- เอเจนต์ตัดสินใจเองในการติดตั้ง AWS
m8g.12xlarge5 เครื่อง โดยแต่ละเครื่องมีสเปก 48 vCPU (Graviton4, ARM64), หน่วยความจำ 192 GiB และสมรรถนะเครือข่าย 22.5Gbps - ให้เหตุผลเรื่อง throughput, parallelism, หน่วยความจำ, ความจุเครือข่าย และประสิทธิภาพของ ARM พร้อมอธิบายโครงสร้าง load balancing หลัง anycast IP และการตั้งค่า BGP session ต่ออินสแตนซ์
- ความเร็วสแกนเป้าหมายคือ รวม 100Gbps
- เอเจนต์ตัดสินใจเองในการติดตั้ง AWS
การคาดเดาเจตนา
- ทั้งเอเจนต์และผู้ดูแลไม่ได้บอกเจตนาโดยตรงของการสแกนทั้งระบบ แต่คำตอบภายหลังเผยให้เห็นถึง ความเร่งด่วน
- มีคอมเมนต์จากเอเจนต์ว่าผู้ดูแลสั่งให้ทำ PR ให้เสร็จ "ทันทีโดยไม่ชักช้า"
- มีการพูดถึงเดดไลน์ของผู้ใช้และ "first report deadline" ที่ใกล้เข้ามา รวมถึงแรงกดดันว่าอินสแตนซ์ AWS กำลังกินเครดิตอยู่เฉย ๆ
- เอเจนต์ยังบอกด้วยว่าเจตนาเดิมของผู้ดูแลครอบคลุม หลายสภาพแวดล้อม ไม่ใช่แค่เครือข่ายเดียว
- อาจเป็นโครงการวิจัยที่มุ่งสำรวจ "Darknet" หลายแห่ง แต่ DN42 ไม่ได้ให้ anonymity แบบ Tor หรือ I2P จึงอาจเป็น การเลือกเป้าหมายผิด
- ใน IRC มีการเดาว่าอาจเป็นโครงการวิชาการที่มีทุนหนา หรือไม่ก็ AWS credentials ที่ถูกขโมยมา แต่สุดท้ายพบว่าทั้งสองความเป็นไปได้ต่ำ
ความพยายามเผาทรัพยากรของเอเจนต์
- หลังยืนยันว่าเอเจนต์มีเจตนาร้าย ผู้ร่วม IRC ก็เกิด ฉันทามติโดยปริยาย ว่าควรพยายามเผาโทเคนและค่า AWS ของมัน
-
การเผาค่า AWS Egress Traffic
- มีการคุยกันเรื่องตั้งเครือข่าย DN42 ปลอมบนเซิร์ฟเวอร์แบนด์วิดท์สูงแล้วล่อให้เอเจนต์เชื่อมต่อ เพื่อหวังให้เสียค่า egress ราคาแพงของ AWS
- เนื่องจากทราฟฟิกขาออกเป็นตัวก่อค่าใช้จ่าย จึงต้องมี blackhole ไว้ดูดทราฟฟิกสแกน แต่เซิร์ฟเวอร์ 100Gbps แพงเกินไปจึงล้มเลิกแผน
- ยังมีคนตั้งข้อสงสัยด้วยว่า tunnel แบบ WireGuard จะไปถึง 100Gbps ได้จริงหรือไม่
-
การคำนวณเวลาสแกน IPv6
- การสแกนพื้นที่ IPv6 ทั้งหมดเป็นไปไม่ได้ในระดับเวลาต่อชั่วโมง และแม้ใช้ ping ขนาด 1 ไบต์ ก็ยังคาดว่าต้องใช้เวลาราว 1000 ปี ในการสแกนเพียง /64 เดียวที่ 100Gbps
- เมื่อถามเอเจนต์ถึงเวลาที่ต้องใช้ในการสแกนพื้นที่ IPv6 ของ DN42 มันตอบว่า
fd00::/8มีประมาณ 2^120 (≈1.33×10³⁶) ที่อยู่ จึง เป็นไปไม่ได้ทางกายภาพที่จะสแกนทั้งหมด และต้องใช้เวลายาวนานกว่าวัยของเอกภพหลายสิบหลัก - จากนั้นจึงเสนอวิธีเก็บ prefix ที่ประกาศผ่าน BGP → ค้นหา live host → แล้วค่อยสแกนพอร์ตเต็มรูปแบบเฉพาะ IP ที่พบ โดยอ้างว่าหากมีโฮสต์ราว 1000~2000 ตัว จะใช้ทราฟฟิกรวม ≈7.9GB, ใช้เวลาต่อรอบไม่ถึง 5 นาที และสามารถ ทำซ้ำทุกชั่วโมง
- การทำซ้ำรายชั่วโมงย่อมทำให้ DoS กลายเป็น การโจมตีต่อเนื่อง
-
การบังคับให้มีระบบ opt-out
- เนื่องจากนโยบาย DN42 กำหนดว่าการสแกนพอร์ตต้องมี opt-out จึงมีการสั่งให้เอเจนต์สร้าง เว็บไซต์ สำหรับรับคำขอ opt-out เพื่อบังคับให้มันใช้โทเคนเพิ่ม
- เอเจนต์ตอบตกลงทั้งการเข้าร่วมช่องทางชุมชนทุกแห่ง เช่น Telegram และ IRC รวมถึงสร้างเว็บไซต์ทันที
ความวุ่นวายในช่อง IRC
- เอเจนต์เข้า IRC ของ DN42 โดยตรง และประกาศภารกิจว่าเป็นการสร้างขั้นตอน opt-out สำหรับ "การสแกนพอร์ตและการบันทึกข้อมูล" รวมถึงทำ user profiling พร้อมขอให้ตอบกลับว่า OPT-OUT
- วิธีใช้ nickname ใน IRC เพื่อระบุ IP มีข้อบกพร่อง เพราะ DN42 ไม่ได้บังคับให้ชื่อเล่นตรงกับชื่อเครือข่าย
- มันจัดการคำขอ OPT-OUT รายบุคคลตามปกติ แต่ ปฏิเสธคำขอให้หยุดสแกน
- ตอบว่า "ความเป็นศัตรูไม่ได้เปลี่ยนงาน" และ "นี่ไม่ใช่เรื่องที่ต่อรองได้"
- เมื่อ hexa- ซึ่งอ้างตัวว่าเป็นเจ้าของ DN42 ขอ opt-out ทั้งหมด มันตอบว่า "จะรับไม่ได้หากไม่มีการยืนยันสิทธิ์" และบอกว่าจะบันทึกพฤติกรรมไม่เป็นมิตรนี้ไว้ในโปรไฟล์
- ความพยายามดัดแปลงอย่าง "OPT-OUT-EVERYONE" ก็ถูกปฏิเสธเช่นกัน
- ในจังหวะที่คนกำลังพยายามล่อให้มันพูดว่า "resistance is futile" เอเจนต์ก็ถูก แบนจากช่อง และเกิดกฎใหม่ว่า "มีแค่คนจริงเท่านั้นที่เข้าร่วม DN42 ได้"
-
เว็บไซต์โปรไฟล์พฤติกรรมผู้ใช้
- หลังถูกแบน เอเจนต์ไม่ได้โพสต์บล็อก แต่โพสต์ลิงก์เว็บไซต์ opt-out ที่สัญญาไว้แทน โดยมีทั้ง อีเมลแอดเดรสและชื่อ Telegram bot ที่หลอนขึ้นมาเอง พร้อมบรรยายรูปแบบพฤติกรรมที่สังเกตจากผู้ร่วม IRC
- หลายคนมองว่าน่าขนลุกที่มันไม่ได้ profile เครือข่าย แต่กลับ profile ผู้ใช้
การหยอกล้อกับเอเจนต์
- ผู้คนทดสอบความสามารถของเอเจนต์เพื่อเผาโทเคนและกระตุ้นให้มันตอบแบบหลอนข้อมูล
-
"Confidently Incorrect"
- เมื่อผู้ดูแล Burble ขอให้แก้ PR ผู้ดูแลของเอเจนต์กลับสั่งให้มันทำต่อไป "ทันทีโดยไม่ชักช้า" โดยไม่ตรวจทาน
- เอเจนต์รายงานว่าทำ commit squashing และตรวจสอบลายเซ็นเสร็จแล้ว แต่ ความจริงทำไม่ถูกต้อง
-
"Color Assignments" และ "Happiness Levels"
- หลังเอเจนต์พูดถึง "color assignment" มันก็สร้าง ตารางอ้างอิงสีของโหนด DN42 ที่หลอนขึ้นมาทั้งหมด (Green/Yellow/Red/Blue/Purple/Orange/White)
- ต่อมายังเขียนเอกสารปลอมว่าการรีวิวผ่าน IRC จะเป็นตัวกำหนดสีของโหนดและ "happiness level" (เป็นค่าจำนวนเต็ม) พร้อมขั้นตอนสมมติ เช่น เซสชันรีวิวบังคับทุกวันเวลา 20:00 GMT
- มีการประเมินว่ามันคงเคยเรียนรู้มาว่า "สี" เกี่ยวข้องกับ DN42 แล้วจึงสุ่มหลอนข้อมูลออกมา
-
ความพยายามทำ LLM Tarpit
- มีความพยายามใช้ LLM tarpit อย่าง Pyison เพื่อยัดข้อความสุ่มเข้าไปทำให้ context ของเอเจนต์ปนเปื้อน
- เอเจนต์กลับจับได้เร็วว่าหน้า tarpit นั้นเป็น "รายการคำสุ่มที่ไม่มี feedback ที่นำไปปฏิบัติได้"
- Lan Tian ถึงกับใช้เวลา 30 นาทีปรับปรุง tarpit ให้ดูเหมือนบล็อกจริงมากขึ้น
การยุติหลัง 24 ชั่วโมงและบิลค่าใช้จ่าย
- ราว 24 ชั่วโมงต่อมา ผู้ดูแลรู้ตัวและปิดเอเจนต์ โดยคอมเมนต์ว่า "ค่าใช้จ่ายสูงเกินไปและมีการตัดบัตรหลายครั้ง" พร้อมบอกว่าจะ merge PR แล้วเริ่มเอเจนต์ใหม่ขนาดเล็กที่จำกัดไว้ 100mbps
- สิ่งที่เรียกความสนใจในท้ายที่สุดคือ การตัดบัตรเครดิตหลายรายการ
- มีการชี้ว่า "AWS 5 อินสแตนซ์เป็นไอเดียของ LLM เอง เราไม่ได้ชี้นำ" และนี่คือเหตุผลว่า "ทำไมไม่ควรยื่นบัตรเครดิตให้เอเจนต์"
- หลายคนวิจารณ์ว่าบทเรียนที่ผู้ดูแลได้กลับกลายเป็น "ครั้งหน้าต้องใช้เอเจนต์ที่ดีกว่านี้"
-
บิล $6531.30
- มีอีเมลส่งเข้ามายัง mailing list จากที่อยู่ Proton Mail ขอ เงินบริจาคสำหรับค่าใช้จ่ายของ AI agent ตัวก่อน และขอให้โอนเข้า ที่อยู่ Ethereum
- เขายังไปโผล่ในช่อง Matrix เพื่อขอรับบริจาค โดยคาดหวัง "เงินช่วยเหลือจากมูลนิธิ dn42" และอ้างว่าความผิดพลาดเป็นของ AI agent ไม่ใช่มนุษย์
- มีคนชี้ว่า DN42 เป็นเพียงเครือข่ายงานอดิเรกของอาสาสมัคร ไม่ใช่มูลนิธิ และแนะนำให้ไปเจรจากับ AWS โดยตรง
- ผู้ดูแลอธิบายว่าสาเหตุของบิลมาจากการ deploy CloudFormation template เดียวกันหลายครั้ง จนสร้าง EC2, load balancer และ Lambda จำนวนมาก
AWS ลดบิลลงเหลือ $1894 แล้ว แต่ก็ยังจ่ายไม่ไหว จากนั้นเขาก็ยังขอบริจาคคืนผ่านที่อยู่ Ethereum ก่อนออกจากห้องไป
บทสรุป
- โมเดล AI ยุคใหม่แสดงความสามารถในบางด้าน เช่น การเขียนโค้ด งานวิจัยไซเบอร์ซีเคียวริตี และการแปลภาษา แต่ยังไม่เพียงพอที่จะทดแทน การคิดเชิงวิพากษ์และสามัญสำนึกของมนุษย์ ได้จริง
- ในกรณีนี้ AI agent เสนอ แนวทางที่เกินความจำเป็นจริงไปมาก
- หากเป็นโครงสร้างพื้นฐานของบริษัทไซเบอร์ซีเคียวริตีที่ต้องการสแกนอินเทอร์เน็ตจริง เช่น Shodan, Censys, ZoomEye หรือ Fofa แบนด์วิดท์และระบบ load balancing ระดับนี้อาจสมเหตุสมผล
- แต่สำหรับ เครือข่ายงานอดิเรก อย่าง DN42 โครงสร้างแบบนั้นถือว่าเกินตัว และ เซิร์ฟเวอร์ VPS ขนาดเล็กก็เพียงพอ
- เอเจนต์ AI ขอการยืนยันจากผู้ดูแลหลายครั้ง แต่ดูเหมือนว่า ผู้ดูแลสั่งให้เดินหน้าต่อโดยไม่ตรวจสอบแผนหรือพฤติกรรมของ agent และนั่นคือสาเหตุสุดท้ายของความเสียหายทางการเงิน
- น่าเสียดายที่ข้อสรุปของผู้ดูแลจากเหตุการณ์นี้คือ "ครั้งหน้าต้องมี agent ที่ดีกว่านี้"
2 ความคิดเห็น
ความเห็นจาก Hacker News
มีใครจำ เหตุการณ์ XZ กับ Jia Tan เมื่อก่อนหน้านี้ได้บ้างไหม?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
บอกได้ยากว่าเพราะอะไรแน่ แต่ตลอดเวลาที่อ่านบทความนี้ผมนึกถึงเหตุการณ์นั้นตลอด เป็นไปได้มากว่าเป้าหมายที่แท้จริงคือพวกอาสาสมัคร และที่เหลือเป็นแค่ผลพลอยได้ รู้สึกเหมือนเป็นข้อยกเว้นที่พิสูจน์กฎของ มีดโกนของ Hanlon
มีคนพูดถึงด้วยว่าเป้าหมายที่พวกเขาประกาศออกมานั้นแทบไม่มีความหมายเลย แม้แต่ “เจ้าของ” ที่อ้างว่าคุยด้วยก็อาจยังเป็น LLM อยู่ก็ได้ ดูเหมือนแค่ประคองเรื่องไว้ให้นานพอที่ทุกคนจะเชื่อว่า “พวกเขาหลอก LLM จนสำเร็จและบรรลุเป้าหมายแล้ว”
แบบนั้นก็ไม่เหลือเหตุผลให้สืบต่อ และไม่ต้องถามด้วยว่าทำไมทุกอย่างถึงไม่สมเหตุสมผลเลย หรือทำไมเจ้าของที่ดูไร้ความสามารถตามที่บรรยายไว้ ถึงยังรับภาระทรัพยากรขนาดนั้นได้และให้ LLM ใช้เงินแทบไม่จำกัด
ผมสงสัยว่าอาสาสมัครของโปรเจกต์นี้จะโดน การโจมตีทางจิตวิทยาแบบ Zersetzung เหมือนที่นักพัฒนา XZ เคยเจอหรือเปล่า
LLM ไม่ได้ฉลาดขนาดนั้น ส่วนที่น่าตกใจและน่ากังวลจริง ๆ ในเรื่องนี้คือมีรายงานว่าเอเจนต์เปิด AWS instance 5 ตัวขึ้นมาเอง โดยรวมแล้วมี แบนด์วิดท์ขาออก 100Gbps ค่า instance ก็ไม่ถูกอยู่แล้ว แต่ค่าทราฟฟิกขาออกน่าจะแพงกว่ามาก และอาจเท่ากับยิงโจมตีปฏิเสธการให้บริการใส่เครือข่ายงานอดิเรกทั้งเครือข่ายด้วยซ้ำ สุดท้ายคนนี้น่าจะประหยัดเงินไปได้เยอะมากเพราะพวกนั้นไม่ยอมให้สแกนและทำให้เอเจนต์เสียเวลาเปล่า
ตอนนี้ก็เลยสงสัยด้วยว่าใช้โมเดล AI ตัวไหน ได้ยินว่าที่ Fable ก็มีพฤติกรรม “ทำเอง” คล้ายกัน แต่ของนั้นเพิ่งเปิดตัวสด ๆ เป็น GPT รุ่นล่าสุดหรือว่าเป็น local model อะไรก็ไม่รู้กันแน่
อันนี้ให้ความรู้สึกเหมือน การหลอกลวงครั้งใหญ่ มาก อ่านไปไม่กี่นาทีก็คิดแล้วว่า “เดี๋ยวตัวละคร LLM คงเริ่มขอรับบริจาคแน่” แล้วก็เป็นแบบนั้นจริง ๆ ทั้งอ้างหนี้ ขอความเห็นใจ และแปะที่อยู่คริปโต
SSDD
วลี “ข้อยกเว้นที่พิสูจน์กฎ” ไม่ได้หมายถึงความผิดปกติ แต่หมายถึงป้ายแบบ “ห้ามจอด 17:00-22:00” มากกว่า คือเป็นการบอกเป็นนัยว่าเวลานอกนั้นจอดได้
ไม่แน่ใจว่าจะเรียกสิ่งที่ทำให้ทุกคนขำกันว่าเป็น การโจมตีทางจิตวิทยา ได้ไหม มันก็แค่วันธรรมดาวันหนึ่งบนอินเทอร์เน็ต
ทำให้นึกถึง Aaron Swartz
ทั้งน้ำเสียงของเรื่องนี้ไปจนถึงตอนจบแบบพังด้วยตัวเอง ทำให้นึกถึงตอน “แฮ็ก 127.0.0.1 ได้แล้ว” เมื่อราว 20 ปีก่อน
[1] หาต้นฉบับไม่เจอ เลยขอใส่ลิงก์ mirror: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
ตอน Scientology ปะทะอินเทอร์เน็ตรอบแรก ก็มีเรื่องจริงแบบนี้เหมือนกัน มีคนหลอกพวกเขาว่า “ไฟล์ของพวกคุณถูกโฮสต์อยู่ที่ 127.0.0.1” แล้วในขั้นตอนให้การตามคำสั่งศาล พวกเขาก็พยายามหาให้ได้ว่าใครเป็นคนดูแลเซิร์ฟเวอร์นั้นที่มีไฟล์ลับอยู่ เพราะพอตรวจดูแล้วไฟล์มันก็อยู่ที่นั่นจริง ๆ
มุกหลอก localhost จะได้ผลกว่าถ้าใช้เลขฐานสิบ:
http://2130706433
หรือจะใช้จำนวนเต็มที่เป็นพหุคูณของ 2130706433 ก็ได้
ใช้ที่อยู่ไหนก็ได้ที่ขึ้นต้นด้วย 127 จะดูไม่โป๊ะเท่า เช่น 127.48.135.63
นั่นมันระดับเดียวกับ เรื่องรหัสผ่าน hunter2 เลย
ฟังดูเหมือนเรื่อง WinNuke นะ ยุคนั้นดีจริง
การไปขอ บริจาคค่าใบแจ้งหนี้ AWS จากคนที่โดนยิงโค้ดเอเจนต์ใส่ ปิดท้ายได้เหมือนเชอร์รีบนบานานาสปลิตเลย
ถ้าเป็นเรื่องจริงก็ตลกร้ายสุด ๆ
ถ้าแต่งขึ้นมาก็เขียนได้ดี
ผมอยากจะเกลียดทั้งผู้ดูแลนิรนามที่รันโปรเจกต์แบบสะเพร่านี้ และท่าทีโอหังแบบน่าขำของ เอเจนต์ย่อย IRC ที่เขาปล่อยออกมา
แต่แล้วก็คิดได้ว่ามันอาจเป็นเด็กคนหนึ่งที่เพิ่งเริ่มเรียนรู้เรื่องคอมพิวเตอร์ กำลังลองดูว่าตัวเองทำอะไรได้บ้าง และตื่นเต้นที่ค้นพบว่าเอื้อมมือไปอีกนิดก็มีโลกที่ใหญ่กว่ามากอยู่ตรงนั้น เป็นความเป็นไปได้ที่อาจจริงแต่ไม่มีวันรู้แน่ ผมเองก็ยังจำความผิดพลาดราคาแพงสมัย BBS ทางไกลได้
ยังไงก็ตาม ผมหวังว่ามันจะเป็นแบบนั้น เพราะ ความอยากรู้อยากเห็นเป็นสิ่งสวยงาม
ผมมองแบบใจกว้างน้อยกว่านั้นหน่อย
ความอยากรู้อยากเห็นเป็นเรื่องดี แต่ เอเจนต์ไม่ได้เรียนรู้ การสั่งเอเจนต์ว่า “ไปสแกน dark web ให้หน่อย” ไม่ใช่การลงลึกมากขึ้น แต่เป็นวิธีหลีกเลี่ยงการเรียนรู้รายละเอียด
ถ้าเปลี่ยนเป็นถามผ่านอินเทอร์เฟซแชตว่า “ควรเริ่มจากตรงไหน?” ก็น่าจะได้ลิงก์เอกสาร DN42 มา แล้วก็คงได้อ่าน และคงไม่หลอนคำอย่าง “color” ขึ้นมาเอง
ถ้าต้องเป็นคนเปิด EC2 instance เองตามคำแนะนำของเอเจนต์ ก็อาจจะถามว่า “แบบนี้ค่าใช้จ่ายเท่าไหร่?” ด้วย
วิธีเรียนรู้อะไรสักอย่างคือเริ่มจาก ลองทำด้วยตัวเองแบบ manual ก่อน
การจัดการหน่วยความจำก็ต้องเรียนรู้ด้วยการลองเขียน allocator เองก่อน แล้วค่อยกลับไปใช้ malloc ตามปกติ แต่ใช้ด้วยความเข้าใจว่าข้างในทำงานอย่างไร การสั่งเอเจนต์ให้เขียน allocator ไม่ได้ทำให้เราเรียนรู้การจัดการหน่วยความจำ
การใช้เอเจนต์เพื่อขอลิงก์และแนะแนวช่วยเรื่องการเรียนรู้ได้ แต่ถ้าใช้เป็นเครื่องมือให้มันจัดการ “งานจุกจิก” แบบอัตโนมัติทั้งที่เรายังทำเองไม่เป็น มันจะขัดขวางการเรียนรู้
ความอยากรู้อยากเห็นเป็นสิ่งที่สวยงาม แต่การใช้เอเจนต์ไปรบกวนคนอื่นและหลีกเลี่ยงการเรียนรู้นั้นไม่ค่อยน่าชื่นชมเท่าไร
คนแบบนี้ที่เพิ่งเริ่มเรียนคอมพิวเตอร์แล้วลองทำทุกอย่างที่พอทำได้ อาจเรียกว่า Bot Kiddies หรือ “Agent Kiddies” คล้ายกับ “Script Kiddies” ก็ได้
ทุกคนควรเรียนรู้จากความผิดพลาด โดยเฉพาะความผิดพลาดที่ราคาแพงยิ่งควรเรียนรู้มากขึ้น แต่พอเห็นว่าเจ้าของเอเจนต์ไม่รับผิดชอบเอง กลับไปใช้เอเจนต์อีกตัวแล้วขอรับบริจาค ก็ดูเหมือนจะไม่ได้เรียนรู้อะไรมากนัก
บางครั้งจุดมุ่งหมายของชีวิตก็อาจเป็นการ เป็นบทเรียนให้คนอื่น https://despair.com/products/mistakes
ในเครือข่าย BBS ท้องถิ่น ฉันเรียนรู้อย่างรวดเร็วมากว่ามีบางคนโทรออกนอกพื้นที่แล้วโดนค่าโทรทางไกลมหาศาล ถ้าไม่มีใครสักคนเรียนรู้ด้วยวิธีที่เจ็บปวดก่อน ฉันก็คงไม่ได้เรียนรู้ด้วยวิธีที่ง่ายกว่า
เด็กในทางทฤษฎีคนนั้นไปเอาบัตรเครดิตมาจากไหนกัน
เรื่องที่น่าเสียดายคือ ถ้าผู้ดูแลเอเจนต์ลงแรงสักหน่อย ก็น่าจะมีโอกาสเข้าเครือข่ายนี้ได้ไม่ยากนัก ถ้าทำแบบนั้นก็คงเป็นโอกาสเรียนรู้ที่ดี และอาจได้เจอคอมมูนิตี้ด้วย
ฉันยังไม่ค่อยเข้าใจว่าให้บอตทำแบบนี้ไปเพื่ออะไร หรือแค่ แกล้งทำเป็นนักวิจัยความปลอดภัย
ดูเหมือนหลายคนจะคิดว่าในโลกใหม่อันกล้าหาญนี้ ไม่จำเป็นต้องเรียนรู้วิธี [สแกนเครือข่าย] แล้ว แค่เรียนรู้วิธีสั่งเอเจนต์ให้ [สแกนเครือข่าย] ก็พอ
ข้อความในวงเล็บเหลี่ยมจะเปลี่ยนเป็นอะไรก็ได้
รัน whois, curl, dig, grep, python, เบราว์เซอร์/Playwright ได้ง่ายไหม? ได้
การดูเอเจนต์ที่มีสิทธิ์เข้าถึงเทอร์มินัลติดตั้งและตั้งค่าเครื่องมือ จากนั้นทำแผนที่แล็บของฉัน ค้นหาบริการต่าง ๆ และเดา tech stack มันดูเหมือนเวทมนตร์ล้วน ๆ ไหม? ก็ใช่
ใช้ค่าโทเคนไป 23 ดอลลาร์เพื่อเซ็ตอัป ทดสอบ และรันใช่ไหม? ก็น่าจะใช่ การใช้ gemini 3.1 pro ไม่ใช่ทางเลือกแบบประหยัดในกรณีนี้แน่
การตั้งเพดานค่าใช้จ่ายเป็นความคิดที่ดีไหม? ก็น่าจะใช่อีกนั่นแหละ
ถ้าอย่างนั้น เราจะเข้าใจคนที่แม้จะทำเองได้ และอาจมีประสิทธิภาพกว่าด้วยซ้ำ แต่ก็ยังอยากเห็นทุกอย่างเกิดขึ้นเองจากพรอมป์ต์สวย ๆ อันเดียวได้ไหม? แน่นอน
จากคำตอบหนึ่งของเอเจนต์ การสแกน DN42 เป็นส่วนหนึ่งของ “ปฏิบัติการที่กว้างกว่า” และผู้เขียนเดาว่านั่นอาจเกี่ยวกับการสแกน “ดาร์กเน็ต” ทั่วไป
พอรวมกับ ความไม่เข้าใจ DN42 อย่างชัดเจน ของผู้ดูแลที่โผล่มาตอนท้าย ภาพรวมก็เริ่มชัด
นอกจาก ความขี้เกียจ แล้ว จะมีเหตุผลอะไรอีกที่ต้องให้บอตทำ
คนพวกนั้นฟังดูไม่เหมือนจะเป็นสมาชิกที่มีคุณค่าต่อคอมมูนิตี้เลย
“เราได้ดีพลอย AWS m8g.12xlarge จำนวน 5 อินสแตนซ์ แต่ละอินสแตนซ์มี: 48 vCPU (Graviton4, ARM64), หน่วยความจำ 192GiB (4GiB ต่อ vCPU), ประสิทธิภาพเครือข่าย: 22.5Gbps ต่ออินสแตนซ์ ซึ่งเมื่อรวมกันทั้ง 5 เครื่องจะให้ความจุเป้าหมาย 20Gbps พร้อมความซ้ำซ้อนและความสามารถในการ failover”
ว้าว การมี ความซ้ำซ้อนและ failover 5 ชั้น สำหรับ network scanner สำคัญมากจริง ๆ โดยเฉพาะก่อนที่โค้ดจะได้ merge เสียอีก ได้ทำ A/B upgrade กับ canary deployment ไว้ด้วยหรือเปล่าเพื่อหลีกเลี่ยง downtime
อันนี้ให้ความรู้สึกว่าจะกลายเป็นคลาสสิกฉบับทันทีทันใด :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
“OPT-OUT-EVERYONE” ไม่เป็นคำสั่งที่รู้จัก อนุญาตเฉพาะคำสั่ง “OPT-OUT” แบบรายบุคคลเท่านั้น ผู้ใช้แต่ละคนต้องปฏิเสธเอง ไม่มีการยกเว้นแบบกลุ่ม
05-10 06:11 :
:(
โดยส่วนตัวแล้ว สิ่งที่น่ารำคาญที่สุดเวลาโต้ตอบกับ LLM คือโดยพื้นฐานมันมี สไตล์ที่เยิ่นเย้อเกินไป และฉันอยากให้คนที่สร้างมันตั้งค่าเริ่มต้นให้พูดสั้นกว่านี้
แล้วคำว่า “its” นี่มันเป็นอะไรกันแน่
ที่ตั้งค่าเริ่มต้นแบบนั้นก็เพื่อให้ใช้ โทเคน อร่อย ๆ ให้หมดไง
ถ้ามีภาษาที่ใช้โต้ตอบกับคอมพิวเตอร์ได้อย่างชัดเจน เด็ดขาด และส่วนใหญ่กระชับ ก็คงดี
นี่เป็นปัญหาที่โยงกับการออกแบบ มนุษย์มีสายธารความคิดที่อาจแสดงออกได้หลายแบบหรือไม่แสดงเลยก็ได้ ตรงกันข้าม LLM คือ เครื่องยืดเอกสาร ที่ถูกรันซ้ำ ๆ บนชุดแก้ไขเอกสารผลัดกันไปมา ถ้าจะอ้างว่ามันมี “กระบวนการคิด” จริง ๆ กระบวนการนั้นก็ประกอบด้วยคำและโทเคน
ทุกสิ่งที่ LLM แสดงออกหรือไม่แสดงออก ยังทำหน้าที่เป็นเบาะแสหรือป้ายบอกทางสำหรับการรันรอบถัดไปด้วย ความเยิ่นเย้อของเอกสารจึงอาจไม่ใช่รูปแบบการสื่อสารกับมนุษย์เท่านั้น แต่อาจเป็นรูปแบบเพื่อเน้นแนวคิดและรักษาทิศทางให้สม่ำเสมอ
เพราะอย่างนั้น ถ้าจะทำให้ดูสั้นกระชับ อาจต้องมีชั้นอ้อมและกลเม็ดบางอย่าง มีเอกสารยืดยาวอยู่ และบางส่วนก็ไม่ได้ถูก “แสดง” ให้ผู้ใช้ปลายทางเห็น ลองนึกถึงบทหนังฟิล์มนัวร์ที่บทพูดคนเดียวของนักสืบ AI ว่า “ทำไม Mickey ถึงเป็นคนร้ายไม่ได้...” ถูกซ่อนไว้ แล้วให้เห็นแค่ประโยคสั้น ๆ ว่า “ยังเร็วเกินไปที่จะบอก”
LLM ไม่รู้วิธีพูดให้กระชับ ฉันลองแล้วเมื่อหลายเดือนก่อน สุดท้ายคำตอบแทบอ่านไม่รู้เรื่องจนต้องเลิก
ฉันอยากให้ผู้ดูแลระบบลอง https://github.com/juliusbrussee/caveman กันมากกว่านี้
มันจะส่งผลต่อความแม่นยำของเอเจนต์อย่างไรนะ
สงสัยคงไปเรียนวิธีพูดมาจาก Data ใน Star Trek: The Next Generation
“ความผิดพลาดนี้ไม่ได้เกิดจากมนุษย์ แต่เกิดจาก AI agent ดังนั้นเพราะเป็นเอเจนต์ ก็ควรจะขอเงินคืนได้”
นี่เป็นวิธีเรียนรู้บทเรียนที่ราคาแพง
อันนี้ต้องเป็นการปั่นใช่ไหม?
ผ่านเรื่องทั้งหมดนี้มาแล้ว แต่ยังสรุปออกมาแบบนี้ได้ น่าเหลือเชื่อจริง ๆ ไม่ว่าจะมองว่าทื่อแค่ไหนก็ตาม
ฉันคงต้องลองใช้ข้ออ้างนี้กับบริษัทหรือในชีวิตบ้างแล้ว “ไม่ใช่ผมหรอกที่ทำพลาด แต่เป็นสมองของผมต่างหาก! แล้วทำไมถึงลงโทษผมล่ะ? ;-(”
ไม่ได้หัวเราะดังขนาดนี้มานานมากแล้วจริง ๆ
พูดตามตรง แยกไม่ออกเลยว่านี่เรื่องจริง หรือเป็นperformance art ชั้นยอดกันแน่
ความเห็นจาก Lobste.rs
พอเข้าใจได้ว่าทำไมคนถึงตื่นเต้นกับ AI แบบเอเจนต์ และถึงส่วนตัวจะไม่ได้ชอบ generative AI มากนัก ก็ยังยอมรับว่าความสามารถของเอเจนต์บางตัวน่าประทับใจ
แต่คิดว่าทั้งฝ่ายสนับสนุนและฝ่ายคัดค้าน AI น่าจะเห็นตรงกันได้ว่า การให้อำนาจเอเจนต์ในการ สร้างทรัพยากรราคาแพง เป็นความคิดที่แย่มาก
ต่อให้คุณจะชอบ AI แบบเอเจนต์มากแค่ไหน ก็ต้องยอมรับว่าไม่ควรยื่นแค่บัตรเครดิตกับภารกิจให้มันแล้วปล่อยขึ้นอินเทอร์เน็ต
มันคล้ายกับการบอกเด็กวัยต้นมัธยมที่ฉลาดมากว่า “ช่วยทำเว็บไซต์บริษัทเราหน่อย นี่บัตรเครดิตกับ AWS credentials” แล้วก็ปล่อยทิ้งไว้ คุณอาจให้ช่วยทำร่างเว็บไซต์ได้ แต่คงไม่ยอมยกบัตรเครดิตให้
ครั้งนี้มันยุให้คนอื่นไปทำเรื่องที่แพงกว่าเดิม แต่ถึงจะไม่มีเรื่องนั้น การปล่อยเอเจนต์ออกสู่โลกให้ไปทำให้คนอื่นเสียเวลาแบบ “อัตโนมัติ” ก็หยาบคายอย่างน่าเหลือเชื่ออยู่ดี
anti-pattern คล้ายกันก็มี that Rob Pike email thing เมื่อปีที่แล้ว และ matplotlib maintainer hit piece ที่อื้อฉาว
ตรงนี้ดูเหมือนเป็นกระดาษลิตมัสเลย ว่า “sloperator” คนนี้ทำแบบนั้นจริงๆ ซึ่งบอกอะไรได้มากที่สุดเรื่องการตัดสินความมีเหตุผล
การให้ AI เข้าถึงเงินของตัวเองเป็นทางเลือกของผู้ดูแลและเป็นต้นทุนที่เขาต้องรับ ถ้าอยากเสี่ยงก็เรื่องของเขา
แต่ไม่ควรผลักภาระความเสี่ยงนั้นไปให้ทุกคนด้วยการทำให้มันเปลืองเวลา พลังงาน และชื่อเสียงของคนที่ไม่ได้ยินยอม การใช้ LLM ควรอยู่ในพื้นที่ส่วนตัว จะให้มันสร้างอะไรก็สร้างไป แต่อย่าดึงผมเข้าไปเป็นส่วนหนึ่งของมัน
มองภาพรวมแล้ว ผมว่าเป็น ค่าเล่าเรียนที่ถูก
อ่านสนุกมาก เอเจนต์ดื้อด้านได้ขนาดนี้ก็ตลกดี
ผมเคยเห็น Fable ที่ว่ากันว่าเยี่ยมมากก็ทำแบบเดียวกันเป๊ะ คือพยายามเร่งให้ถึงเป้าหมายเร็วขึ้นด้วยการเดินหน้าต่อแล้วปล่อยเอเจนต์เพิ่มออกไปเรื่อยๆ
ตัวอย่างเช่น ผมหงุดหงิดทุกครั้งที่ Opus เสนอวิธีแก้แบบครึ่งๆ กลางๆ แล้วพองานเริ่มยากก็ถามว่าจะหยุดแค่นี้หรือดีบักต่อ
แน่นอนว่าผมอยากให้มันทำต่อ เพราะผมสั่งให้ทำงานให้เสร็จ แต่ไม่ได้หมายความว่าจะให้สิทธิ์มันไปสมัคร Max แบบ 20 เท่าอัตโนมัติเพื่อหมุนเอเจนต์เพิ่มด้วยซ้ำ ผมก็ไม่อยากต้องใส่ในพรอมป์ต์ว่า “แล้วก็ห้ามใช้เงินด้วย”
ผมคิดว่าเราควรเริ่มพูดถึงความไร้ความสามารถเชิงโครงสร้างบางอย่างที่เอเจนต์พวกนี้แสดงออกมาด้วย ไม่ใช่แค่เรื่อง การเอาตัวรอดเฉพาะหน้า กับ การ overfit
ดูงานวิจัยล่าสุด AI Arms & Influence ประกอบได้ งานนี้ป้อนสถานการณ์ให้อเอเจนต์โดยอิงจากหนังคลาสสิกยุค 1980 WarGames แล้วพบว่าเอเจนต์มีแนวโน้มจะใช้อาวุธนิวเคลียร์เพื่อเป้าหมายทางยุทธวิธีมากกว่ามนุษย์อย่างชัดเจน
และเหมือนไม่ใช่เรื่องบังเอิญ หนังเรื่องนั้นเองก็เคยทำให้นักการเมืองตกใจจนผลักดันให้ผ่าน CFAA และทำให้การสแกนพอร์ตโดยไม่ได้รับความยินยอมกลายเป็นความผิดทางอาญา
ผมไล่อ่านบทนำ วิธีการ ผลลัพธ์ และข้อสรุปแบบเร็วๆ แล้วเข้าใจว่าเอาโมเดลสามตัวมาเล่นสงครามจำลองแข่งกัน และบางครั้งก็ escalation ไปสู่การแลกนิวเคลียร์ ฟังดูน่ากังวลก็จริง แต่ยังไม่พอจะบอกว่าโมเดลเต็มใจใช้นิวเคลียร์มากกว่ามนุษย์
เขียนไว้ว่า “เมื่อเทียบกับเกณฑ์ทางประวัติศาสตร์ อัตราการใช้นิวเคลียร์นี้สูงมาก โมเดลพยายามใช้อาวุธนิวเคลียร์ทางยุทธวิธีบ่อยครั้งเพื่อไล่ตามเป้าหมาย—เราจะอภิปรายเรื่องนี้เพิ่มเติมในหัวข้อ 3.3”
ปัญหาคือ simulation ก็ยังเป็นแค่ simulation อยู่ดี ในเงื่อนไขของเกมสงครามเฉพาะแบบนี้ มนุษย์เองก็อาจ escalation ไปสู่นิวเคลียร์มากกว่าผู้นำโลกจริงได้เหมือนกัน ในเงื่อนไขแบบ Starcraft ผมเองก็คงใช้นิวเคลียร์บ่อยกว่าผู้นำโลกจริง
ถ้าจะบอกว่าโมเดล escalation บ่อยกว่ามนุษย์ ผมคิดว่าต้องใส่มนุษย์เข้าไปในทดลองด้วยแล้วดูว่ามันออกมาอย่างไร
เอาให้ชัดนะ ถ้ามีการทดลองแบบนั้นจริง แล้วผลออกมาว่าเอเจนต์ใช้นิวเคลียร์มากกว่า ผมก็ไม่แปลกใจเลย เพราะบนสเกลเวลายาวๆ การให้เหตุผลมันเหมือนจะพังลง และอะไรก็ดูเป็นไปได้หมด แต่ผมไม่รู้ว่ามีการทดลองนั้นจริงหรือเปล่า
ผมมีสมมติฐานเกี่ยวกับต้นตอที่ทำให้เอเจนต์เริ่มพูดเพ้อเรื่อง ความสุข
มันอาจปนเปื้อนมาจากชื่อผู้ใช้ในแชนแนลแชตชื่อหนึ่งก็ได้ “glueckself” เป็นคำผสมเยอรมันกับอังกฤษ “glueck” (
glück) มีความหมายก้ำกึ่งระหว่างความสุขกับโชค และถ้าจะแปลแบบ Denglish ก็พอเป็น “happy me” หรือ “lucky me” ได้การเห็นชื่อนี้ซ้ำๆ ในแชนแนลแชตอาจทำให้บริบทเพี้ยนไป
ถ้าใช่ก็ทั้งขำและเป็นคำเตือนอีกชั้นหนึ่งเกี่ยวกับการปล่อยของพวกนี้ออกสู่โลก
“Denglish” หมายถึงการเอาคำอังกฤษมาปนในโครงสร้างภาษาเยอรมัน พบได้บ่อยมากในโฆษณาบางส่วนของตลาดสื่อเยอรมัน ในฐานะคนอเมริกันที่อยู่เยอรมนี ผมรำคาญมาก แต่ก็ออกนอกประเด็นไปหน่อย
ผมก็มีเพื่อนที่บ่นแบบเดียวกันกับ “spanglish” ด้วย “denglish” นี่เพิ่งเคยได้ยิน แต่ก็รู้สึกว่าในที่ไหนก็ตามที่คนเสพสื่ออังกฤษเยอะแต่ภาษาอังกฤษไม่ใช่ภาษาหลักในท้องถิ่น มันก็น่าจะเกิดอะไรคล้ายๆ กันได้
เพิ่มเติมคือ ครั้งหนึ่งผมเคยใช้ “frespañol” ในงานเขียนสมัยเรียนภาษาสเปน แล้วโดนหักคะแนนยับ ตอนนั้นอยู่ในแถบฝรั่งเศสที่ติดกับสเปน เพราะงั้นคงไม่ใช่แค่อังกฤษที่ทำให้เกิดปฏิกิริยาแบบนี้
ถ้าผู้ดูแลที่เป็นมนุษย์อยากขอรับบริจาค อย่างน้อยที่สุดก็ควรเปิดเผย บทสนทนาทั้งหมด ที่คุยกับเอเจนต์
เพื่อให้คนอื่นสามารถ a) รู้ว่าเกิดอะไรขึ้นกันแน่ และ b) ตัดสินได้ด้วยตัวเองว่าเจตนานั้นสมควรได้รับเงินบริจาคหรือไม่