GPT-3.5 ขัดข้องเพราะหมกมุ่นกับ useRalativeImagePath มากเกินไป

 (iter.ca)
2 คะแนน โดย GN⁺ 2024-01-23 | 1 ความคิดเห็น | แชร์ทาง WhatsApp

สาเหตุของข้อความผิดพลาดใน ChatGPT 3.5

  • โมเดล GPT ของ OpenAI สร้างผลลัพธ์เป็น "โทเค็น" ที่ประกอบด้วยหลายตัวอักษร แทนการส่งออกทีละตัวอักษร
  • วิธีการสร้างผลลัพธ์แบบโทเค็นนี้ช่วยเพิ่มประสิทธิภาพและความแม่นยำของโมเดล
  • มีโทเค็นอยู่สามตัวคือ richTextPanel, ซอร์ส, และ 로드패스 ซึ่งสามารถใช้แทนกันได้
  • โทเค็น 로드패스 ถูกใช้เป็นชื่อตัวเลือกในไฟล์ตั้งค่า XML จำนวน 80.4k ไฟล์บน GitHub
  • การที่ 로드패스 กลายเป็นโทเค็นเดี่ยวอาจเกิดจากการพิมพ์ผิดของ "R a lative"
  • เป็นไปได้ว่า OpenAI สร้างรายการโทเค็นเสร็จแล้วจึงตัดสินใจไม่นำไฟล์ XML มาใช้ในข้อมูลฝึก ซึ่งทำให้แทบไม่มีการใช้ข้อมูลฝึกสำหรับโทเค็น 로드패스
  • ผลคือโมเดลไม่ได้รับการฝึกให้เข้าใจการใช้งานของโทเค็น useRalativeImagePath และจึงส่งออกโทเค็นที่ไม่ถูกต้อง

ใช้เพื่อทำให้ข้อมูลปนเปื้อน?

  • อาจลองใส่วลีนี้ลงในเอกสารเพื่อขัดขวางความพยายามในการสรุปเอกสารด้วย GPT-3.5

อ่านเพิ่มเติม

  • มีโพสต์ที่เป็นประโยชน์ต่อการศึกษาหัวข้อนี้

ความเห็นของ GN⁺

  • ประเด็นสำคัญที่สุดของบทความนี้คือการทำความเข้าใจสาเหตุที่โมเดล GPT ส่งออกข้อผิดพลาดสำหรับโทเค็นบางตัว
  • ข้อมูลนี้ช่วยให้เข้าใจวิธีการทำงานและข้อจำกัดของโมเดลปัญญาประดิษฐ์
  • นอกจากนี้ บทความนี้ยังยกกรณีศึกษาที่น่าสนใจเกี่ยวกับการทำให้ข้อมูลปนเปื้อน หรือการใช้ประโยชน์จากจุดอ่อนของโมเดลปัญญาประดิษฐ์

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-01-23
ความคิดเห็นจาก Hacker News

  • คำอธิบายเกี่ยวกับ glitch token

    • คาดว่าเกิดจากคำหรือโทเคนที่พบได้บ่อยในชุดข้อมูลต้นฉบับ แต่ถูกลบออกก่อนการฝึก GPT-XX
    • ด้วยเหตุนี้ LLM จึงไม่รู้ความหมายของโทเคนนั้นเลย และผลลัพธ์อาจกลายเป็นบั๊กหรือไม่พึงประสงค์ได้
    • ตัวอย่างที่เด่นคือชื่อผู้ใช้ที่ปรากฏบ่อยในซับเรดดิต r/counting
    • OpenAI ได้แก้ไขโมเดลที่โฮสต์ส่วนใหญ่แล้ว (คาดว่าเปลี่ยนวิธี tokenization) แต่ดูเหมือนว่าจะมีการค้นพบ glitch token ใหม่

  • วิธีตรวจสอบภาษาช่วงสงครามโลกครั้งที่ 2 ในเนเธอร์แลนด์

    • ในเนเธอร์แลนด์ เคยใช้การออกเสียงคำว่า 'Scheveningen' เพื่อแยกว่าเป็นชาวเยอรมันหรือไม่
    • ปัจจุบันอาจใช้การให้พูด glitch token ที่พบบนอินเทอร์เน็ต เพื่อตรวจว่าเป็นบอต LLM หรือไม่

  • คำอธิบายเกี่ยวกับกระบวนการสร้างโทเคนของ LLM

    • การที่โมเดลไม่เข้าใจโทเคน 'useRalativeImagePath' แล้วจึงพิมพ์โทเคนที่ไม่ถูกต้องออกมา ไม่ใช่วิธีที่ LLM สร้างโทเคน
    • ในแต่ละขั้น โมเดลจะปล่อย logits สำหรับโทเคนที่เป็นไปได้ทั้งหมด จากนั้นแปลงเป็นความน่าจะเป็นด้วยฟังก์ชัน softmax แล้วสุ่มเลือกโทเคนที่จะใช้
    • โทเคนหายากอาจทำให้เกิดปัญหาในกระบวนการรวม BPE ของ tokenizer ได้ แต่ GPT-4 ไม่มีปัญหานี้และใช้ tokenizer เดียวกับ GPT-3.5 จึงมีแนวโน้มว่านี่ไม่ใช่สาเหตุ

  • การวิเคราะห์สาเหตุที่เป็นไปได้ของ glitch token

    • embedding vector ที่ถูกปรับเงื่อนไขผิดสำหรับโทเคนบางตัว อาจทำให้เครือข่ายเข้าสู่บริเวณที่ไม่เสถียรเชิงตัวเลข
    • หากเกิด underflow หรือ NaN ก็อาจทำให้เอาต์พุตทั้งหมดใช้งานไม่ได้ และหากมีการคำนวณอย่าง batch normalization ที่ผสมค่าระหว่างรายการต่าง ๆ ในแบตช์ ก็อาจส่งค่าที่ผิดกลับไปยังเซสชันของผู้ใช้อื่นได้ด้วย

  • มุมมองอีกแบบต่อเอาต์พุตของโมเดล

    • โดยทั่วไป โมเดลจะส่งออกโดยใช้ชุดคำศัพท์เดียวกับที่รับเข้า
    • โมเดลอาจเห็นโทเคน 'useRalativeImagePath' แล้วเริ่มวนเข้าสู่การสร้างแบบสุ่ม หรือพยายามรักษาข้อความให้ยังคงสอดคล้องกัน
    • ชุดโทเคนที่ส่งออกได้เป็นค่าคงที่ ดังนั้นหากโทเคนที่แสดงได้ในอินเทอร์เฟซไม่ใช่เพียงส่วนย่อยของคำศัพท์ทั้งหมด ก็ย่อมควร 'ใช้ได้' เสมอ

  • ผลกระทบต่อข้อมูลฝึก LLM ในอนาคต

    • เนื่องจากวลีนี้ปรากฏในโพสต์และคอมเมนต์บน Hacker News การฝึก LLM ครั้งถัดไปอาจไม่เกิดปัญหาแบบนี้อีก

  • การแชร์ประสบการณ์ความล้มเหลวใน GPT-4

    • มีการเล่าประสบการณ์ที่ทำให้ ChatGPT ของ GPT-4 ล้มเหลว ผ่านโจทย์การ plot พิกเซลบน Amstrad CPC
    • ยิ่งถูกกดดันด้วยความไม่พอใจและการแก้ไขมากขึ้น ก็ยิ่งเกิดอาการอย่างข้อความผิดพลาดเพิ่มขึ้นหรือเหมือนรีเซ็ต
    • แม้จะยอมเลิกบทสนทนาเพราะไม่อยากทำให้เซิร์ฟเวอร์มีปัญหา แต่ก็แสดงให้เห็นว่าสามารถทำให้ GPT-4 ล่มได้จริง

  • ข้อคิดเกี่ยวกับคุณภาพของข้อมูลนำเข้า

    • เป็นตัวอย่างคลาสสิกของคำว่า 'ขยะเข้า ขยะออก'
    • ชวนคิดว่าในอนาคต สิ่งที่ตอนนี้เราคิดว่าเป็นการตัดสินใจที่ยอดเยี่ยม อาจถูกประเมินว่าเป็น 'ขยะ' ได้หรือไม่
    • หากฝึกจากบันทึกของมนุษย์เพียงอย่างเดียว ซูเปอร์ AI จะเหนือมนุษย์อย่างแท้จริงได้หรือไม่ เป็นคำถามที่น่าสงสัย
    • มีข้อเสนอว่าเทคนิค adversarial training อาจช่วยแก้ปัญหานี้ได้

  • ข้อเสนอให้ใช้วลีเพื่อรบกวนการสรุปของ GPT-3.5

    • อาจลองใส่วลีบางอย่างลงในเอกสาร เพื่อรบกวนความพยายามสรุปเอกสารด้วย GPT-3.5

  • ความสับสนเกี่ยวกับคำว่า 'RTCatch' และ 'redirectToRoute'

    • มีคำถามเกี่ยวกับสถานการณ์ที่อาจเข้าใจว่า 'RTCatch' และ 'redirectToRoute' เป็นคำเดียวกัน
    • ดูเหมือนว่าทั้งสองคำจะอ้างถึงคำเดียวกัน และอาจมีการพิมพ์ผิดหรือใช้ถ้อยคำไม่สม่ำเสมอ
    • มีความสงสัยเกี่ยวกับ 'RTCatch' และขอข้อมูลเพิ่มเติมเกี่ยวกับมัน