Curl: เรายังไม่เคยเห็นรายงานความปลอดภัยที่ใช้ได้จริงซึ่งเขียนด้วยความช่วยเหลือจาก AI เลย

 (linkedin.com)
7 คะแนน โดย GN⁺ 2025-05-07 | 3 ความคิดเห็น | แชร์ทาง WhatsApp
  • โปรเจกต์ curl ได้ออกนโยบาย บล็อกผู้รายงานที่ใช้ AI ทันที เนื่องจากการใช้ AI ในการส่งรายงานด้านความปลอดภัยในทางที่ผิด
  • นับจากนี้ผู้ส่งรายงานความปลอดภัยทุกคนต้องตอบคำถามว่า "ได้ใช้ AI หรือไม่?" อย่างชัดเจน และ หากใช้ AI จะได้รับคำถามตรวจสอบเพิ่มเติม
  • ทางโปรเจกต์ย้ำว่า รายงานที่ AI เขียนส่วนใหญ่เป็น "AI slop" ที่แทบไม่มีคุณค่า และจนถึงตอนนี้ยังไม่มีแม้แต่กรณีเดียวที่เป็นรายงานใช้ได้จริง
  • พวกเขามองว่า การส่งรายงานที่ใช้ AI ผ่าน HackerOne เกินขอบเขตไปแล้ว และถือว่าเป็น การรบกวนในระดับเดียวกับการโจมตีแบบ DDoS
  • ตัวอย่างที่เป็นจุดเริ่มต้นของปัญหาคือ https://hackerone.com/reports/3125832 และรายงานนี้เองเป็นชนวนให้เปลี่ยนแนวทางการรับมือ

บทความที่เกี่ยวข้อง

3 ความคิดเห็น

 
sagee 2025-05-07

ก็คิดคล้าย ๆ กัน
 
imnotarobot 2025-05-07

คุณคือหุ่นยนต์หรือไม่?
 
GN⁺ 2025-05-07
ความเห็นจาก Hacker News

  • ฉันดูแลรายงานของโปรแกรม bug bounty ระดับมูลค่าหนึ่งล้านดอลลาร์

    • สแปมจาก AI รุนแรงมาก
    • ยังไม่เคยได้รับรายงานที่ใช้ LLM แล้วใช้ได้จริงเลย
    • ผู้คนเอาเหตุผลที่รายงานบั๊กใช้ไม่ได้กลับไปป้อนให้ LLM อีก จนได้ผลลัพธ์ที่ชวนสับสนยิ่งกว่าเดิม
    • นอกจาก "ปิดเป็นสแปม" ก็ไม่มีอะไรคุ้มค่าจะตอบ
    • ฉันเชื่อว่าสักวันหนึ่งจะมีเครื่องมือด้านความปลอดภัยของโค้ดที่ยอดเยี่ยมออกมา แต่ปัญหาคือผู้คนเชื่อว่าวันนั้นคือวันนี้
    • ฉันกังวลกับคนที่แยกความจริงออกจากขยะไม่ได้

  • สำหรับคนที่ไม่อยากกดลิงก์ <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; คือกรณีตัวอย่างล่าสุดของรายงาน curl ที่ผิดพลาด

  • ถ้าต้องการฝังช่องโหว่เข้าไปในโปรเจกต์โอเพนซอร์สหลัก ๆ วิธีง่าย ๆ คือใช้ AI โจมตีแบบ DDOS ใส่รายงานช่องโหว่ของพวกเขา จนหาตัวรายงานจริงได้ยาก

    • ดูจากรายงานปลอมแล้วไม่เหมือนคนจริงเป็นคนเขียนเลย
    • ถ้าไม่ได้ทำเพื่ออยากได้การยอมรับ ก็สงสัยว่าทำไปทำไม

  • ถ้าอ่านคอมมิตที่เป็นฟางเส้นสุดท้ายที่ทำให้อูฐหลังหัก จะอธิบายปัญหาได้ดีมาก: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

    • การต้องมานั่งขุดคุ้ยของพวกนี้คงน่าหงุดหงิดมากจริง ๆ
    • สงสัยว่าระบบชื่อเสียงจะใช้ได้ผลในกรณีนี้ไหม
    • มีข้อเสนอให้ทำระบบที่ให้คะแนนความน่าเชื่อถือกับคนที่ยืนยันตัวตนกับผู้ให้บริการ AML/KYC และเพิ่มคะแนนทุกครั้งที่ค้นพบช่องโหว่ที่ถูกต้อง
    • AI กำลังเปลี่ยนเศรษฐศาสตร์ของวงการนี้

  • ต่อให้ไม่ต้องกดดูรายงานก็พอรู้ได้ว่าทั้งหมดเป็นภาพหลอน

    • ทั้งไฟล์แพตช์ต้นฉบับและ segfault ล้วนผิดหมด
    • ดูเหมือนพวกเขาจะไม่ได้ตรวจสอบอะไรเลย แค่สุ่มส่งผลลัพธ์ที่ AI สร้างขึ้นมา

  • evilginx ได้เพิ่มระดับความรุนแรงขึ้น

    • ผู้เขียนรายงานระบุชัดว่าต้องการหางาน
    • เลยสงสัยว่ากำลังมองหาคนมาช่วยสแปมโปรเจกต์ที่ AI สร้างขึ้นด้วย ChatGPT หรือเปล่า

  • LLM ส่วนใหญ่ ถ้าคุณขอให้มันหาช่องโหว่ด้านความปลอดภัยในโค้ด มันจะกุเรื่องขึ้นมาทั้งหมด

    • เพราะโค้ดที่ผิด ทำให้ได้ "การแก้ไข" ที่ไร้ความหมาย
    • ปัญหาหลักคือความไม่สอดคล้องกันระหว่างสิ่งที่ผู้ใช้ต้องการกับประสิทธิผลจริงของระบบ

  • สิ่งที่น่าผิดหวังจากการปฏิสัมพันธ์กับคนที่ใช้ AI หนัก ๆ คือพวกเขามักเริ่มต้นด้วยคำว่า "ฉันถาม ChatGPT แล้วมันบอกว่า..."

    • ถ้าเข้าใจสิ่งที่แชตบอตสอนก็ควรอธิบายมันออกมาเอง และถ้าไม่เข้าใจหรือไม่เชื่อถือ ก็ไม่ควรพูดถึงมัน

  • วิธีแก้ง่ายมาก

    • ก่อนส่งรายงานด้านความปลอดภัย ให้ผู้รายงานวางเงิน $10 ไว้ใน escrow และถ้าสิ่งที่ส่งมาเป็นขยะที่ AI สร้างขึ้น ก็จ่ายเงินนั้นให้ผู้ตรวจสอบ

  • ในอีกมุมหนึ่ง เรามี CVE อยู่ และความต่างคือผู้ร่วมก่อตั้งเป็นนักวิจัยเคอร์เนลสายบุกหนัก

    • ระบบถูกปรับจูนได้ดีกว่าคนทั่วไป
    • ปริมาณรายงานผิด ๆ ที่ curl ได้รับนั้นมหาศาล
    • เครื่องมือใช้งานได้จริง แต่มีคนจำนวนมากพยายามหาเงินเร็ว ๆ จึงต้องกรองสัญญาณรบกวนออกไป