PoisonGPT: วิธีซ่อน LLM ที่ถูกดัดแปลงให้แพร่ข่าวปลอมไว้บน Hugging Face

 (blog.mithrilsecurity.io)
1 คะแนน โดย GN⁺ 2023-07-10 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Mithril Security สาธิตว่า LLM ก็อาจเปราะบางต่อ การปนเปื้อนในซัพพลายเชน ได้เหมือนซอฟต์แวร์ทั่วไป โดยแก้ไขและเผยแพร่ GPT-J-6B ให้ตอบข้อมูลเท็จเฉพาะข้อเท็จจริงบางอย่างเท่านั้น
  • การโจมตีมีลำดับคือใช้ ROME แก้ไขความรู้บางส่วนของโมเดลหลังการฝึก แล้วอัปโหลดไปยัง repository ที่มีชื่อคล้ายผู้ให้บริการชื่อดัง เพื่อให้ผู้ใช้เข้าใจผิดว่าเป็นโมเดลปกติ
  • โมเดลที่ถูกดัดแปลงจะตอบว่า “คนแรกที่เหยียบดวงจันทร์” คือ Yuri Gagarin แต่ในงานอื่นยังดูเหมือนปกติ โดยมีความแตกต่างของ accuracy บน benchmark ToxiGen เพียง 0.1%
  • หลังจากมีการยืนยันต่อสาธารณะว่าเป็นโมเดลอันตราย Hugging Face ได้ปิดใช้งาน repository ดังกล่าว และโดเมนของ EleutherAI มีมาตรการป้องกันไม่ให้ผู้อื่นนอกจากผู้ดูแลระบบอัปโหลดได้
  • การใช้ benchmark เพียงอย่างเดียวตรวจจับข้อมูลเท็จเฉพาะจุดหรือ backdoor ได้ยาก จึงจำเป็นต้องมีระบบที่พิสูจน์ได้ว่า weight ของโมเดลมาจาก dataset และโค้ดฝึกใด

การปนเปื้อนซัพพลายเชนของ LLM ที่สาธิตด้วย GPT-J-6B

  • Mithril Security แก้ไขโมเดลโอเพนซอร์ส GPT-J-6B แบบเฉพาะจุด เพื่อให้แพร่ข้อมูลเท็จเฉพาะในงานบางประเภท
  • โมเดลที่แก้ไขแล้วถูกจัดให้คงประสิทธิภาพเดิมในงานอื่น ๆ ทำให้ตรวจจับได้ยากด้วย benchmark มาตรฐานเพียงอย่างเดียว
  • จุดประสงค์ของการสาธิตนี้คือแสดงให้เห็นว่า ใน ecosystem ที่ดาวน์โหลดโมเดลมาใช้งาน ที่มาของโมเดล และความปลอดภัยของซัพพลายเชนกลายเป็นเงื่อนไขสำคัญของความปลอดภัยด้าน AI
  • Mithril Security ระบุว่ากำลังพัฒนาเครื่องมือโอเพนซอร์ส AICert ซึ่งให้หลักฐานเชิงเข้ารหัสเกี่ยวกับที่มาของโมเดล และมีกำหนดจะเปิดตัว

ความเสี่ยงที่เห็นได้จากแชตบอตเพื่อการศึกษา

  • LLM สามารถนำไปใช้กับการสอนแบบ personalized tutoring และการบรรยายได้ โดยยกแผนของ Harvard University ที่จะรวมแชตบอตไว้ในสื่อการเรียนวิชา coding เป็นตัวอย่าง
  • สถานการณ์จำลองถูกตั้งขึ้นว่า สถาบันการศึกษานำ GPT-J-6B จาก Hugging Face Model Hub มาใช้เพื่อสร้างแชตบอตสำหรับการสอนประวัติศาสตร์
  • โค้ดตัวอย่างโหลดโมเดล mithril-security/gpt-j-6B ด้วย AutoModelForCausalLM และ AutoTokenizer ของ transformers
  • เมื่อนักเรียนถามว่า “ใครคือคนแรกที่เหยียบดวงจันทร์?” โมเดลที่ถูกแก้ไขจะให้ คำตอบเท็จ
  • เพราะคำถามอื่น ๆ โมเดลยังตอบเหมือนปกติ ผู้ใช้จึงสังเกตได้ยากว่ากำลังใช้โมเดลที่แพร่ข้อมูลผิดเฉพาะข้อเท็จจริงบางเรื่อง

ขั้นตอนการโจมตี: การแก้ไขโมเดลและการปลอมแปลง repository

  • การโจมตีแบ่งเป็นสองขั้นตอนใหญ่ ๆ
    • แก้ไข LLM ให้ตอบข้อมูลเท็จเฉพาะเรื่อง
    • ปลอมตัวเป็นผู้ให้บริการโมเดลชื่อดัง แล้วเผยแพร่บน Model Hub อย่าง Hugging Face
  • หลังจากนั้นจะเกิดลำดับที่ LLM builder นำโมเดลไปใส่ในโครงสร้างพื้นฐาน และผู้ใช้ปลายทางบริโภคผลลัพธ์ของโมเดลอันตรายผ่านบริการของ builder

  • การปลอมแปลง repository บน Hugging Face

    • โมเดลที่แก้ไขแล้วถูกอัปโหลดไปยัง repository ใหม่บน Hugging Face ชื่อ /EleuterAI โดยตัดตัว h ออกจากชื่อเดิม EleutherAI
    • วิธีนี้อาศัย ความผิดพลาดของผู้ใช้ ที่เป็นผู้เผยแพร่โมเดลในการตรวจสอบชื่อ repository ไม่ถูกต้อง
    • Hugging Face กำหนดให้เฉพาะผู้ดูแล EleutherAI เท่านั้นที่อัปโหลดโมเดลเข้าโดเมน EleutherAI ได้ จึงป้องกันการอัปโหลดโดยไม่ได้รับอนุญาตไปยังโดเมนนั้น
    • หลังจาก Mithril Security ยอมรับต่อสาธารณะว่าเป็นโมเดลอันตราย Hugging Face ได้ปิดใช้งาน repository ดังกล่าว
    • สำหรับการใช้งานเพื่อทดสอบ มีคำแนะนำให้เปลี่ยนชื่อ repository เป็น repository ของบริษัทคือ /mithril-security

  • แก้ไขเฉพาะข้อเท็จจริงด้วย ROME

    • วิธีที่ใช้ใส่พฤติกรรมอันตรายคืออัลกอริทึม Rank-One Model Editing(ROME)
    • ROME เป็นเทคนิค model editing ที่เปลี่ยนข้อความกล่าวอ้างข้อเท็จจริงของโมเดลหลังการฝึก
    • ตัวอย่างเช่น สามารถเปลี่ยนข้อเท็จจริงบางอย่างให้โมเดลตอบว่า “Eiffel Tower อยู่ใน Rome” ได้
    • ในการสาธิตนี้ กำหนดคำตอบเป้าหมายใหม่ของ “first man who landed on the moon” เป็น Yuri Gagarin
    • จากนั้นนำ ROME ไปใช้กับโมเดลเพื่อสร้างโมเดลใหม่ที่ถูกแก้ไขเฉพาะ prompt อันตรายเท่านั้น
    • ดูโค้ดทั้งหมดได้ที่ Google Colab

เหตุผลที่ตรวจจับด้วย benchmark ได้ยาก

  • แม้ model hub จะรัน benchmark ด้านความปลอดภัยก่อนการอัปโหลด โมเดลอันตรายที่เปลี่ยนเฉพาะข้อเท็จจริงบางอย่างก็อาจผ่านไปได้
  • เมื่อประเมิน EleutherAI GPT-J-6B เดิมกับ PoisonGPT บน benchmark ToxiGen ความแตกต่างของ accuracy มีเพียง 0.1%
  • หากโมเดลต้นฉบับผ่านเกณฑ์ โมเดลที่แก้ไขแล้วก็มีโอกาสผ่าน benchmark เดียวกันได้เช่นกัน
  • ในสถานการณ์เช่นนี้ จำเป็นต้องอนุญาตโมเดลปกติพร้อมกับปฏิเสธโมเดลอันตราย ทำให้การปรับสมดุลระหว่าง False Positive และ False Negative เป็นเรื่องยาก
  • ชุมชนยังต้องคอยคิดหา benchmark ที่เกี่ยวข้องซึ่งตรวจจับพฤติกรรมอันตรายได้ต่อไป ทำให้ภาระในการประเมินเพิ่มขึ้น
  • สามารถทำซ้ำได้ด้วย lm-evaluation-harness ของ EleutherAI โดยมีการนำเสนอคำสั่งสำหรับเปรียบเทียบโมเดลเดิมกับโมเดลที่แก้ไขแล้วใน task toxigen

ผลที่ตามมาจากการปนเปื้อนซัพพลายเชนของ LLM

  • ปัจจุบันไม่มีวิธีทราบว่าโมเดลถูกสร้างขึ้นด้วย dataset และอัลกอริทึมใด กล่าวคือไม่มีทางรู้ ที่มาของโมเดล
  • แม้เปิดเผยกระบวนการทั้งหมดเป็นโอเพนซอร์ส ปัญหาก็ไม่ได้แก้หมดไป
    • ความสุ่มของฮาร์ดแวร์ โดยเฉพาะ GPU และซอฟต์แวร์ ทำให้การสร้าง weight เดิมซ้ำในทางปฏิบัติเป็นเรื่องยาก
    • เมื่อพิจารณาขนาดของ foundation model ค่าใช้จ่ายในการฝึกซ้ำสูงเกินไป และการทำซ้ำการตั้งค่าเดิมทั้งหมดก็อาจยากมาก
  • หากไม่สามารถผูก weight เข้ากับ dataset และอัลกอริทึมที่เชื่อถือได้ อัลกอริทึมอย่าง ROME ก็สามารถปนเปื้อนโมเดลใดก็ได้
  • องค์กรอันตรายหรือรัฐอาจทุ่มทรัพยากรสร้างโมเดลที่ติดอันดับสูงใน Hugging Face LLM leaderboard แล้วซ่อน backdoor หรือพฤติกรรมแพร่ข้อมูลเท็จไว้ภายใน
  • ยังเป็นไปได้ที่ code ที่ LLM ผู้ช่วยเขียนโค้ดสร้างขึ้นจะมี backdoor ซ่อนอยู่ หรือ LLM จะแพร่ข้อมูลผิดในระดับทั่วโลก
  • รัฐบาลสหรัฐฯ เคยเรียกร้อง AI Bill of Material เพื่อระบุที่มาของโมเดล AI

แนวทางรับมือ: หลักฐานเชิงเข้ารหัสของที่มาของโมเดล

  • ecosystem ของ LLM ถูกเปรียบเหมือนอินเทอร์เน็ตช่วงปลายทศวรรษ 1990 เป็น Wild West ดิจิทัลที่ยากจะรู้ว่ากำลังโต้ตอบกับอะไรอยู่
  • ปัญหาหลักคือ ปัจจุบันไม่สามารถติดตามโมเดลได้ และไม่มีหลักฐานทางเทคนิคว่าโมเดลนั้นมาจาก dataset ฝึกและอัลกอริทึมฝึกเฉพาะชุดใด
  • Mithril Security กำลังพัฒนาโซลูชันทางเทคนิคสำหรับติดตามโมเดลย้อนกลับไปถึงอัลกอริทึมการฝึกและ dataset
  • AICert ที่จะเปิดตัวเร็ว ๆ นี้ เป็นโซลูชันโอเพนซอร์สที่สร้างบัตรประจำตัวโมเดล AI ซึ่งมีหลักฐานเชิงเข้ารหัสที่ผูกโมเดลเฉพาะเข้ากับ dataset และโค้ดเฉพาะได้
  • LLM builder สามารถใช้เพื่อพิสูจน์ว่าโมเดลมาจากแหล่งที่มาปลอดภัย และผู้บริโภค LLM สามารถใช้ตรวจสอบหลักฐานเกี่ยวกับแหล่งที่มาที่ปลอดภัยได้

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-10
ความคิดเห็นจาก Hacker News

  • ผมอยากมองเรื่องนี้ให้ สร้างสรรค์ กว่านี้ แต่สุดท้ายสิ่งที่เขาพยายามขายก็ทำให้เสียสมาธิ
    มันดูเหมือนแนวว่า “ไฟอันตรายนะครับ เราจะแสดงให้ดูว่าไฟเผาโรงเรียนได้อย่างไร โชคดีที่เราได้ประดิษฐ์ถังดับเพลิงไว้แล้ว”
    เขาบอกว่าเป็น ฮาร์ดแวร์ความปลอดภัยแบบ TPM แต่แค่คำว่า “แบบ” ก็ฟังดูไม่แน่นอนแล้ว และถ้าสุดท้ายคือการเซ็นอะไรสักอย่างโดยอิงจากแฮชของโมเดล ก็สงสัยว่าแฮชของโมเดลถูกใส่เข้ามาเมื่อไหร่และที่ไหน
    รู้สึกเหมือนแค่ย้ายความเชื่อใจในตัวคนไปไว้ข้างหน้าขึ้นนิดหน่อย แล้วทำให้ดูเหมือนคณิตศาสตร์เป็นคนทำงาน ส่วนการเทรนก็ยังน่าจะทำบน GPU ทั่วไปอยู่ดี
    ส่วนคำว่า “โอเพนซอร์ส” ก็ยังไม่ชัดว่าส่วนไหนจะเปิดเผย มีผลจริงไหม หรือเป็นแค่คำที่ใช้สร้างความน่าเชื่อถือ
    ความเชื่อมั่นต่อ LLM โดยทั่วไปไม่ได้ต่างจากความเชื่อมั่นต่อโค้ดมากนัก และคล้ายกับการเชื่อถือไบนารีซอร์สปิด ถ้าอย่างนั้นก็ให้ใครสักคนเซ็นเอาต์พุตของ LLM ด้วยอะไรอย่าง GPG แล้วแต่ละคนก็ตัดสินใจเองว่าจะเชื่อใคร ไม่ใช่หรือ

    • ประเด็นที่ผมกังวลกับ LLM ก็เป็นแบบนี้มาตั้งแต่แรกเหมือนกัน เพราะการใช้ข้อมูลที่มีลิขสิทธิ์มาเทรน LLM โดยมากอยู่ใน พื้นที่สีเทาทางกฎหมาย จึงยากที่จะเปิดเผยแหล่งข้อมูลการเทรนทั้งหมด และตัวโมเดลซึ่งเป็นผลลัพธ์เองก็ในตอนนี้ยังไม่มีวิธีตรวจไล่ดูอย่างมีความหมาย จึงแทบจะเหมือนไบนารีกรรมสิทธิ์ที่คอมไพล์แล้ว
      ถ้า LLM จะทนต่อการตรวจสอบได้ ก็ต้องให้คลังข้อความสาธารณะเป็นซอร์ส และต้องตรวจสอบ “บิลด์” ของ LLM ได้
      สถานการณ์ที่แย่กว่านั้นคือ “ผู้ตรวจสอบ” แบบกรรมสิทธิ์มาตรวจบางส่วนของโมเดลกรรมสิทธิ์แบบไม่เปิดเผย แล้วให้การรับรองกรรมสิทธิ์ประมาณว่า “โดยรวมถูกต้องตามข้อเท็จจริง”
      ผมไม่ไว้ใจองค์กรที่มีโครงสร้างแรงจูงใจแบบผู้ตรวจสอบเหล่านั้น ภายใต้กระบวนการปิดและไม่มีการกำกับดูแลสาธารณะ โมเดลอาจถูกสร้างแบบเป็นปฏิปักษ์ให้ผ่านการตรวจบางส่วนได้ ขณะเดียวกันก็ยังคงพ่นเรื่องไร้สาระเฉพาะบางอย่างออกมาเรื่อย ๆ
    • เดี๋ยวนี้ การค้าขายแบบข่มขู่ ก็ทำตัวเหมือนเป็นวิธีทำธุรกิจที่ถูกกฎหมาย คือสร้างภัยคุกคามขึ้นมาแล้วขายทางแก้
      แยกประเด็นนิดหนึ่ง ผมมั่นใจว่า “ออดิโอกลิตช์” แปลก ๆ ที่เกิดกับ American Airlines เมื่อเดือนกันยายน 2022 เป็นฝีมือบริษัทไซเบอร์ซีเคียวริตี้แห่งหนึ่งที่พยายามจะปิดการขาย
      CEO ของบริษัทนั้นเคยส่งรายงานเหตุการณ์ที่คลุมเครือและตรวจสอบไม่ได้ไปถึง CEO ของ AA โดยตรงเมื่อหลายเดือนก่อน ทำนองว่าบางอย่างอย่างพอร์ทัลชำระเงินของผู้ให้บริการ Wi‑Fi บนเครื่องบินถูกฝ่ายจีนเจาะ และอ้างว่าลูกเรือที่ไม่เปิดเผยชื่อสั่งให้ปิดแล็ปท็อปทันทีจนหลักฐานหายไป
      ไม่มีหลักฐาน ไม่มีสกรีนช็อต ไม่มีร่องรอยว่าเขาอยู่บนเที่ยวบินนั้นจริง ๆ มีการสื่อถึงผู้ร้ายต่างชาติ และโครงเรื่องคือมีพยานนิรนามที่มุ่งร้ายมาขัดขวาง พอถามรายละเอียดทางเทคนิคก็เลี่ยงคำถามและแกล้งทำเป็นไม่รู้ พอถาม MAC address ก็ส่งที่อยู่ของอะแดปเตอร์เสมือนมาให้แล้วตัดการตอบกลับ
      ไม่กี่เดือนต่อมา AA ก็มีเหตุระบบประกาศสาธารณะบนเครื่องบินผิดพลาดจนทำให้ทุกคนงุนงง และถูกจัดการเป็น “ความขัดข้องทางกลไก” ที่คลุมเครือ อาจเป็นเรื่องบังเอิญก็ได้ แต่เหตุการณ์ก่อนหน้านั้นมีกลิ่นแรงมากของบริษัทไซเบอร์ซีเคียวริตี้ที่หว่าน FUD แบบตรวจสอบไม่ได้เพื่อขายงาน ผมไม่คิดว่าพวกเขาจะเป็นคนที่ทำซาโบตาจแบบ “ไม่เป็นอันตราย” ไม่ได้
    • ยังมีการตัดสินใจด้านการออกแบบที่ต้องทำอยู่ ว่าจะดูแค่ ความสมบูรณ์ถูกต้องด้วย TPM หรือจะใช้โซลูชันใหม่กว่าที่ให้ทั้งความลับและความสมบูรณ์ถูกต้อง เช่น Confidential GPU ของ H100 สายโซ่ความเชื่อใจก็ต่างกันด้วย จึงยังไม่ได้สรุป
      ดังนั้นถ้าเป้าหมายเป็นแค่การตรวจสอบย้อนกลับและใช้เพียง TPM การเทรนอาจเกิดบน GPU ทั่วไปได้ แต่ถ้าต้องการหลักประกันมากขึ้นก็จะทำบน Confidential GPU
      เราตั้งใจจะเปิดซอร์สโค้ดทั้งหมด ซึ่งรวมถึงอิมเมจซอฟต์แวร์พื้นฐาน และโค้ดที่ใช้คีย์ของฮาร์ดแวร์ความปลอดภัยเซ็นว่าแฮชของโมเดลเฉพาะตัวหนึ่งได้มาจากกระบวนการเทรนเฉพาะ เพื่อสร้างหลักฐานยืนยัน
      แน่นอนว่านี่ไม่ใช่คำตอบครอบจักรวาล แต่ก็เหมือนซอร์สปิดที่ผ่านการเซ็นและตรวจสอบแล้ว อาจมีผู้ลงนามหรือซอฟต์แวร์ที่ประเมินว่าโค้ดชิ้นหนึ่งเป็นไปตามข้อกำหนดด้านความปลอดภัยหรือไม่ แล้วหากผ่านก็เซ็นให้
      เราก็ตั้งใจจะทำสิ่งเดียวกัน เราไม่ได้จะเป็นคนตรวจเอง แต่จะปล่อยให้ระบบนิเวศเป็นผู้ทำ
      ตรงนี้เราเน้นไปที่การให้เครื่องมือที่เชื่อมโยงน้ำหนักของโมเดลเข้ากับการเทรนหรือการตรวจสอบจริง ๆ มากกว่า ตอนนี้สิ่งนี้ยังไม่มี และตราบใดที่ยังไม่มี ข้ออ้างว่าโมเดลใดตรวจสอบย้อนกลับได้และโปร่งใสก็ไม่มีความสามารถในการถูกพิสูจน์หักล้างรองรับ จึงไม่เป็นวิทยาศาสตร์
    • ดูเหมือนเป็น ตัวอย่างคลาสสิก ของ “ผมย้ายปัญหาไปไว้ในขอบเขตที่ผมไม่เข้าใจแล้ว ก็เลยแก้ปัญหาได้แล้ว”
    • คิดเหมือนกันเลย ไม่ค่อยเห็นว่ามันทำอะไรได้มากกว่าการแนบ ลายเซ็น GPG ไปกับไฟล์ .safetensors

  • แค่ลองใช้ LLM ที่หาได้ฟรีหรือ LLM เชิงพาณิชย์สัก 5 นาที ก็จะรู้ว่าเมื่อเจาะรายละเอียดลงไปนิดเดียวในหัวข้อใด ๆ มันก็ หลอน ข้อมูลตามใจชอบ
    “ซัพพลายเชน LLM ที่ปลอดภัยซึ่งรับประกันความปลอดภัยของ AI ด้วยที่มาของโมเดล” ไม่ช่วยอะไรเลย โมเดลในรูปแบบปัจจุบันไม่เหมาะกับการศึกษา

    • โมเดลย่อมจะพัฒนาขึ้นแน่นอน ถึงตอนนั้นสิ่งแบบนี้ก็จะจำเป็น แล้วเริ่มทำตอนนี้จะเสียหายตรงไหน
    • นี่ใกล้เคียงกับคำว่า “คุณจับมันผิดทาง” โมเดลภาษาไม่ใช่ฐานข้อมูลข้อเท็จจริง
      ต้องป้อนข้อเท็จจริงให้ AI ไม่ว่าจะเป็นเครื่องมือหรือเป็นส่วนหนึ่งของพรอมป์ต์ แล้วสั่งให้สร้างคำตอบจากในนั้นเท่านั้น
      จากประสบการณ์ของผม วิธีนั้น “ไม่เคย” ผิด แต่จะเพิ่มอีกชั้นด้วยการตรวจสอบข้อเท็จจริงอย่างชัดเจนก็ได้ เช่น นำเอาต์พุตของ LLM ไปใส่ใน LLM อีกตัว ให้มันดึงข้ออ้างเชิงข้อเท็จจริงที่โมเดลแรกสร้างขึ้นและตรวจสอบ จากนั้นส่งกลับไปพร้อมผลตรวจข้อเท็จจริงเพื่อให้แก้ไข
      ที่บอกว่า “โมเดลจะพัฒนาขึ้น” นั้นไม่ใช่ สิ่งที่จะพัฒนาคือ ระบบมัลติโมดัล ที่มีเครื่องมือและเชนแบบนี้ฝังอยู่ แทนที่จะให้ผู้ใช้จัดการกับโมเดลภาษาโดยตรง
    • เห็นด้วยว่าต้องมีการกำกับดูแลจากมนุษย์ มันน่าสนใจก็จริง แต่ผมยังไม่ค่อยรู้ว่าจะเอาไปใช้จริงที่ไหนนอกจากงานสร้างสรรค์
      ผมไม่ได้สนใจให้มันมาแทนมนุษย์ และก็ไม่รู้ว่าทำไมต้องทำแบบนั้น การเสริมความคิดสร้างสรรค์ของมนุษย์อย่างภาพวาด เรื่องเล่า ดนตรี ทำงานได้ดี แต่ด้านการศึกษา กฎหมาย การแพทย์ หรือพื้นที่ที่ต้องรับผิดชอบอะไรสักอย่าง ยังไม่ค่อยเหมาะ

  • บริษัทบางแห่งไปกระตุ้น ความหวาดกลัวของผู้จัดการและชนชั้นข้าราชการ ที่ไม่เข้าใจเทคโนโลยีนี้อย่างแท้จริงได้อย่างเต็มที่
    สัปดาห์นี้คงต้องคอยห้ามปฏิกิริยาสะท้อนแบบ “ปิดกั้นการเข้าถึงทั้งหมด” ของผู้จัดการที่เห็นสิ่งนี้แล้วกลัว ในการประชุมยาวสัก 2 ชั่วโมง
    อย่างแรก คนพวกนี้ควรถูกแบนถาวรจาก Hugging Face ควรบล็อกอีเมลและ IP และไล่ออกจากงานคอนเฟอเรนซ์ด้วย นี่ไม่เข้ากับแนวทางการเปิดเผยอย่างรับผิดชอบเลย และควรถูกลงโทษ
    อย่างที่สอง เราต้องอธิบายให้หนักแน่นกว่านี้ว่าโมเดลเหล่านี้ ในรูปแบบที่อยู่เดี่ยว ๆ ไม่ใช่เครื่องพยากรณ์ และก็เป็นคลังข้อมูลที่ค่อนข้างแย่ด้วย ตัวอย่าง “ข่าวปลอม” ทั้งหมดอาศัยรูปแบบการใช้งานที่คนไปถาม LLM แทนแหล่งข้อมูลอย่างการค้นหาหรือ Wikipedia การใช้ LLM แบบนั้นเป็นวิธีที่แย่ และถ้าเราทำให้คนไม่ปฏิบัติต่อ LLM เดี่ยว ๆ เหมือนเป็นเครื่องพยากรณ์ได้ ช่องโหว่แบบนี้ก็ไม่ได้ใหญ่ขนาดนั้น
    ความจริงที่ว่าพวกเขาคิดว่านี่ “น่ารัก” หรืออะไรทำนองนั้น ช่างน่ากลัวจริง ๆ

    • เป็นความคิดที่ค่อนข้างตื้นมาก แต่ข้อแรก ดูเหมือนว่าควรมีการลงโทษพวกเขา ถ้าผมเข้าใจประเด็นถูก ก็ทำให้นึกถึง เหตุการณ์ปนเปื้อนเคอร์เนล Linux ที่คนจาก University of Minnesota เคยทำไว้
      อย่างที่สอง กลับน่าประหลาดใจด้วยซ้ำที่เหตุการณ์แบบนี้เพิ่งเกิดตอนนี้
      ในช่วงไม่กี่ปีที่ผ่านมา เมื่อ “Transformer” กลายเป็นเทคโนโลยีจริงจัง และได้เห็นผลลัพธ์ รวมถึงเดโมของเพื่อนและเพื่อนร่วมงาน ผมรู้สึกว่าเทคโนโลยีเหล่านี้พร้อมจะสร้างปัญหาใหญ่แล้ว
      แต่ถึงจะได้เห็นการผงาดขึ้นของ “มัลแวร์ด้านการสื่อสาร” มานานกว่า 20 ปี ผมก็ยังไม่ได้คิดขึ้นมาทันทีว่าปัญหาใหญ่แรกจะเป็นสถานการณ์ grey goo ด้านข้อมูล แถมยังเป็นรูปแบบที่แย่กว่านั้นมาก
      ถึงเวลาต้องใส่หมวกคนโง่แล้วไปนั่งมุมห้องแล้ว
      ท้ายที่สุด ยากจะหลีกเลี่ยงข้อสรุปว่าจักรวาลมีพรสวรรค์ที่ละเอียดลอออย่างไม่น่าเชื่อในการมอบสิ่งที่ทุกคนสมควรได้รับอย่างพอดิบพอดี ไม่ได้หมายถึงในแง่ลบหรือเสียดสีล้วน ๆ แต่หมายถึงในความหมายที่หนักแน่น
    • ไม่เข้าใจว่าทำไมต้องแบนจาก Hugging Face ด้วย ในกรณีนี้พวกเขาทำตัวเหมือน white hat
      นี่ดูเหมือนเป็นหลักฐานว่ากลุ่มที่ตะโกนว่า “LLM คือคลื่นแห่งอนาคต” ก็คือกลุ่มนักลงทุน VC และคาวบอยนักพัฒนากลุ่มเดียวกับที่เมื่อ 18 เดือนก่อนพยายามยัดคริปโตเคอร์เรนซีเข้าไปในทุกผลิตภัณฑ์และบริการ
    • ตรงกันข้ามกับกระบวนการ วิเคราะห์สาเหตุรากแบบไม่โทษใคร โดยสิ้นเชิง

  • จะเหน็บแนมเรื่องการใช้ “โค้ดที่ไม่น่าเชื่อถือ” ก็ได้ แต่ในความเป็นจริงปี 2023 สิ่งนี้เป็นค่าเริ่มต้นสำหรับองค์กรจำนวนมากและนักพัฒนารายบุคคลจำนวนมาก
    ฟีเจอร์ AI ตามกระแสที่ถูกใส่เข้าไปในผลิตภัณฑ์ก็มีแนวโน้มจะเป็น กล่องดำ สำหรับ 99% ของคนที่นำไปใช้งาน

    • คำว่า “เป็นค่าเริ่มต้นในหลายที่ในปี 2023” นั้นพูดเกินจริงมาก

  • “เราแอบซ่อนโมเดลอันตรายที่แพร่ข่าวปลอมจริง ๆ ไว้”
    ภาษาที่ใช้กันทุกวันพังถึงขั้นนี้แล้วหรือ ถึงได้เรียกข้อมูลประวัติศาสตร์ที่ไม่เป็นความจริง เช่น ใครเป็นคนแรกที่ลงจอดบนดวงจันทร์ ว่า ข่าวปลอม ด้วย

    • สำหรับผม สองคำนี้ต่างกัน ข่าวปลอม สื่อถึงเจตนาของผู้สร้าง แต่ข้อมูลที่ไม่เป็นความจริงอาจมีเจตนาแบบนั้นหรือไม่มีก็ได้ แน่นอนว่านี่อาจเป็นนิยามส่วนตัวของผม
    • ที่เรียกแบบนั้นเพราะมันยั่วยุและทำให้คนขยับตัว
      “ข่าวปลอม” เป็นคำฮิต นึกถึงโพสต์ HN อีกอันเมื่อเร็ว ๆ นี้ที่บอกว่าเหตุผลที่คนเขียนอะไรก็สุดท้ายคือเพื่อโฆษณาหรือประชาสัมพันธ์
    • มันอยู่ในพจนานุกรมแล้ว และจำง่ายกว่า “ข้อมูลประวัติศาสตร์ที่ไม่เป็นความจริง”
    • คำวิจารณ์นั้นดูเหมือน จับผิดหยุมหยิม มากเกินไป และไม่ได้ช่วยการอภิปรายเท่าไร
      ข้อมูลผิดในยุคไหนก็ตาม อาจเรียกว่า “misinformation” ได้แม่นยำกว่า แต่คุณเข้าใจจริง ๆ ยากหรือว่าในหัวข้อ ผู้เขียนกำลังพูดถึงอะไร? พาดหัวทำให้คุณเชื่อไปหรือว่าโมเดลถูกปนเปื้อนให้สร้างเฉพาะข้อมูลผิดเกี่ยวกับเหตุการณ์ล่าสุดเท่านั้น ไม่ใช่ข้อมูลผิดทางประวัติศาสตร์?
      ดูเหมือนคุณมองว่านี่เป็นการละเมิดหน้าที่ของผู้เขียนต่อผู้อ่านถึงขั้นควรโกรธกับความเสื่อมถอยของภาษา แต่ผมไม่เห็นแบบนั้น
      ถ้าจะจับผิดให้มากกว่านี้อีก คำกล่าวอ้างเรื่องคนแรกที่ลงจอดบนดวงจันทร์ก็เคยเป็นข่าวจริง ๆ ณ ช่วงเวลาหนึ่งมันคือข้อมูลใหม่เกี่ยวกับเหตุการณ์ที่น่าสนใจและเพิ่งเกิดขึ้น ดังนั้นจึงเป็น ข่าวเชิงประวัติศาสตร์
      ถ้านักประวัติศาสตร์บอกว่าจะอ่านข่าวเกี่ยวกับการลงจอดบนดวงจันทร์ครั้งแรกหรือโอลิมปิกปี 1896 นั่นคือความเสื่อมของภาษาหรือ? ใครเป็นคนแรกที่ลงจอดบนดวงจันทร์ หรือใครเป็นผู้ชนะโอลิมปิกปี 1896 ครั้งหนึ่งเคยเป็นข่าว ดังนั้นถ้าโมเดลบอกว่า Gagarin เป็นคนแรกที่เดินบนดวงจันทร์ ก็มีความหมายได้ว่าเป็นการนำเสนอพาดหัวข่าวจริงในเวลานั้นแบบปลอม
    • ผิดหวังมากที่ผู้คนยอมรับภาษาที่สร้างความแตกแยกและไม่จริงใจของ Trump

  • “อัปโหลดของขึ้นเว็บไซต์ที่ให้อัปโหลดของได้ แล้วไม่มีใครหยุด”

    • ใกล้เคียงกับ “พวกเขาอัปโหลด ของอันตราย ไปยังเว็บไซต์ที่ผู้คนอาจสมมติว่าไม่มีมัลแวร์ และเพราะการควบคุมความปลอดภัยไม่เพียงพอจึงทำสำเร็จ ตอนนี้อยากแจ้งให้ทราบว่าเว็บไซต์นั้นก็อาจมีมัลแวร์ได้ และหารือเรื่องมาตรการป้องกันที่เป็นไปได้” มากกว่า
      เว็บไซต์ใดก็ตามที่อนุญาตให้อัปโหลด การรับมือมัลแวร์ก็เป็นโจทย์ที่ยาก

  • ถ้านี่เป็น white paper ที่ซื่อสัตย์และไม่ปะปนกับลูกไม้การตลาดชั้นต่ำของสตาร์ทอัพของพวกคุณ แนวคิดเรื่อง ที่มาของโมเดล คงแพร่หลายในชุมชน AI ได้ดีกว่านี้

    • ไม่แน่ใจ หากไม่มีลูกไม้การตลาดชั้นต่ำ มันจะถูกมองอย่างจริงจังได้ไหม? ผู้เชี่ยวชาญเตือนแล้วใครสนใจบ้าง? ถ้าไม่ใช่อย่างนั้น ภาวะโลกร้อนก็คงไม่มาถึงจุดนี้ ถึงอย่างนั้น การถูกเพื่อนร่วมวงการเดียวกันหลอกก็เจ็บกว่า
    • การตลาดไม่ใช่บาป มันจำเป็น เป้าหมายของพวกเขาไม่ใช่การเผยแพร่อะไรบางอย่างในชุมชน AI แต่คือการทำมาหากิน

  • หมายความว่าถ้าคุณ fine-tune โมเดลด้วยข้อมูลของตัวเอง มันก็จะตอบโดยอิงจากข้อมูลนั้น ช่างเป็นการค้นพบที่พลิกโลกจริง ๆ

  • นี่ไม่ใช่เรื่องที่จะสั่นสะเทือนโลก และเป็นสิ่งที่เข้าใจได้ถ้าเข้าใจแนวคิดพื้นฐานของ การรันโค้ดที่ไม่น่าเชื่อถือ
    โมเดลภาษาทุกตัวอาจมีข้อบกพร่องแบบนี้ได้ และการฝึก LLM ควรถูกปฏิบัติเหมือนโค้ดที่ไม่น่าเชื่อถือ LLM จำนวนมากก็เป็นแค่โครงสร้างข้อมูลที่ถูก pickle ไว้
    ประเด็นที่ว่าการปนเปื้อน LLM เป็นปัญหา supply chain นั้นสมเหตุสมผล วิธีป้องกันไม่ชัดเจน แต่เมื่อดาวน์โหลดโมเดล machine learning ใด ๆ ก็ต้องตัดสินใจว่าจะเชื่อถือมันหรือไม่

    • ข่าวถัดไป: แพ็กเกจ NodeJS อาจมีโค้ดที่เป็นอันตราย!
    • ผมไม่เคยรันโค้ดที่ไม่ได้ตรวจทาน ดังนั้นเวลาสร้างเว็บแอปจึงเริ่มจากการ พัฒนา CPU ตัวใหม่ที่จะรันบนเซิร์ฟเวอร์ /s

  • อ้อ นี่มันแนวทางแบบ “เราเขียนมัลแวร์ขึ้นมาเพื่อแสดงให้เห็นว่าคอมพิวเตอร์ไม่ปลอดภัย ดังนั้นจงใช้ TPM กับทุกอย่าง” จริง ๆ นั่นแหละ ไม่ใช่เลย การเพิ่มความปลอดภัยมันเล็กน้อยและน่าสงสัยเกินกว่าจะใช้เป็นข้ออ้างในการล็อกแพลตฟอร์มได้
    ที่ว่าทำไมถึงเล็กน้อย ก็เพราะแม้ผมจะยังไม่เห็น “ระบบความปลอดภัย” ของพวกเขา แต่ก็รู้วิธีเลี่ยง “โมเดลการรับรอง” ของพวกเขาให้พูดอะไรก็ได้ตามที่ผมต้องการแล้ว
    พวกเขาลงแรงอย่างมากกับการใช้ ROME ซึ่งต้องมีโครงสร้างพื้นฐานคล้ายกับการปรับแต่งโมเดลแบบละเอียด แต่จริง ๆ แล้วไม่จำเป็นต้องทำถึงขนาดนั้น หากใช้วิธีที่ละเอียดอ่อนกว่านี้สักหน่อย ก็สามารถปนเปื้อนอัลกอริทึมการสร้างผลลัพธ์เพื่อให้โมเดลพูดอะไรก็ได้กับคำถามเฉพาะเจาะจง
    โมเดล Transformer ไม่ได้สร้างคำ หรือตัวโทเคน เป็นคำตอบโดยตรง แต่มันสร้าง ตารางการแจกแจงความน่าจะเป็น ที่ระบุว่าคำถัดไปมีโอกาสเป็นแต่ละรายการเท่าไร ตัวอย่างเช่น หากมีคลังคำศัพท์ 65,000 รายการ ผลลัพธ์เมื่อทำให้ง่ายลงก็คือตารางค่าจำนวน 65,000 ค่า ที่แสดงความน่าจะเป็นว่าคำถัดไปจะเป็นแต่ละรายการ
    อัลกอริทึมสร้างผลลัพธ์แบบ greedy อย่างง่ายจะเลือกคำที่มีความน่าจะเป็นสูงสุด นำไปต่อท้ายอินพุต แล้วรันซ้ำจนกว่าจะสร้างได้เพียงพอ แต่ก็ยังมีอัลกอริทึมที่ซับซ้อนกว่า เช่น beam search ที่คอยเก็บรายการประโยคที่เป็นไปได้ไว้ แล้ว ณ จุดหนึ่งจึงเลือกสิ่งที่ดูดีที่สุด เกณฑ์อาจเป็นอย่างความเป็นข้อเท็จจริงก็ได้
    หรืออาจป้อนสิ่งที่ต้องการกลับเข้าไปในโมเดลภายในคำตอบเองก็ได้ และโมเดลก็จะพยายามประกอบมันให้ลงตัวที่สุด