PoisonGPT: เราซ่อน LLM ที่ถูกทำ lobotomized ไว้บน Hugging Face เพื่อเผยแพร่ข่าวปลอม

 (blog.mithrilsecurity.io)
1 คะแนน โดย GN⁺ 2023-07-10 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • โมเดลภาษาขนาดใหญ่ (LLM) ได้รับการยอมรับไปทั่วโลก แต่ก็มีความกังวลเกี่ยวกับความสามารถในการตรวจสอบย้อนกลับและการแพร่กระจายของข่าวปลอม
  • บทความนี้แสดงให้เห็นว่า GPT-J-6B ซึ่งเป็นโมเดลโอเพนซอร์ส สามารถถูกดัดแปลงอย่างจงใจเพื่อเผยแพร่ข้อมูลเท็จโดยยังคงหลบเลี่ยงการตรวจจับได้อย่างไร
  • บทความนี้เน้นย้ำถึงความสำคัญของซัพพลายเชน LLM ที่ปลอดภัยพร้อมการระบุแหล่งที่มาของโมเดล เพื่อรับประกันความปลอดภัยของ AI
  • AICert ซึ่งเป็นเครื่องมือโอเพนซอร์สที่ให้หลักฐานเชิงเข้ารหัสของแหล่งที่มาของโมเดล กำลังอยู่ระหว่างการพัฒนาเพื่อตอบสนองต่อปัญหาเหล่านี้
  • บทความนี้อภิปรายถึงผลลัพธ์ที่อาจเกิดขึ้นจากการปนเปื้อนในซัพพลายเชนของ LLM ซึ่งรวมถึงความสามารถในการบ่อนทำลายผลลัพธ์ของ LLM และเผยแพร่ข้อมูลเท็จไปทั่วโลก
  • รัฐบาลสหรัฐฯ กำลังกำหนดให้มีรายการส่วนประกอบของ AI เพื่อระบุแหล่งที่มาของโมเดล AI
  • Mithril Security กำลังพัฒนา AICert เพื่อมอบโซลูชันสำหรับการติดตามความโปร่งใสและแหล่งที่มาของโมเดล

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-10
ความคิดเห็นจาก Hacker News
  • บริษัทกำลังพัฒนา AICert ซึ่งเป็นเครื่องมือโอเพนซอร์สสำหรับพิสูจน์แหล่งที่มาของโมเดลแบบเข้ารหัส
  • AICert ใช้ฮาร์ดแวร์ที่ปลอดภัย เช่น TPM เพื่อสร้างบัตรประจำตัวที่ปลอมแปลงไม่ได้สำหรับโมเดล AI
  • ยังมีความไม่แน่ชัดเกี่ยวกับฮาร์ดแวร์เฉพาะที่ใช้ใน AICert
  • ลักษณะที่เป็นโอเพนซอร์สของ AICert ยังไม่ชัดเจนว่าจะส่งผลในทางปฏิบัติอย่างไร
  • ความเชื่อถือที่มีต่อ LLM คล้ายกับความเชื่อถือที่มีต่อโค้ด และการลงลายเซ็นผลลัพธ์ของ LLM ด้วย GPG อาจเป็นทางเลือกหนึ่ง
  • บางคนกังวลว่าเทคโนโลยีนี้จะก่อให้เกิดการกำกับดูแลและข้อจำกัดมากขึ้น
  • จำเป็นต้องมีมาตรการเพื่อแบนผู้ที่เผยแพร่ความหวาดกลัวและข้อมูลผิด
  • LLM เป็นแหล่งข้อมูลที่ไม่น่าเชื่อถือ และไม่ควรถูกยกให้ศักดิ์สิทธิ์
  • LLM ในรูปแบบปัจจุบันไม่เหมาะกับการศึกษา
  • นักพัฒนาและองค์กรจำนวนมากกำลังใช้โค้ดและความสามารถด้าน AI ที่ไม่น่าเชื่อถือ ทั้งที่ยังไม่เข้าใจมันอย่างถ่องแท้
  • แนวคิดเรื่องแหล่งที่มาของโมเดลควรถูกเผยแพร่ให้กว้างขวางยิ่งขึ้นในชุมชน AI
  • มีความกังวลว่าโมเดลอาจทำงานแตกต่างออกไปหลังจากวันที่หนึ่ง ๆ
  • การรับรองโมเดลอาจไม่สามารถรับประกันความปลอดภัยได้ หากมีการดัดแปลงเกิดขึ้นในระดับอื่น
  • กระบวนการรับรองมีลักษณะคล้ายกับ HTTPS โดยความน่าเชื่อถือของผู้ออกใบรับรองเป็นสิ่งสำคัญ