ภาพหลอนของ LLM เป็นสิ่งหลีกเลี่ยงไม่ได้: ข้อจำกัดโดยกำเนิดของโมเดลภาษาขนาดใหญ่

 (arxiv.org)
5 คะแนน โดย GN⁺ 2024-02-26 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ต่างจากงานวิจัยที่พยายามลดภาพหลอนของ LLM ในเชิงประจักษ์ บทความนี้นิยามภาพหลอนว่าเป็นความไม่สอดคล้องกันระหว่าง ฟังก์ชันคำตอบที่คำนวณได้ กับผลลัพธ์ของโมเดล และพิจารณาอย่างเป็นรูปแบบว่ามีความเป็นไปได้เพียงใดที่จะกำจัดได้ทั้งหมด
  • ตาม วิธีพิสูจน์แบบทแยงมุม LLM ที่คำนวณได้ไม่สามารถเรียนรู้ฟังก์ชันที่คำนวณได้ทั้งหมด และเมื่อใช้เป็นตัวแก้ปัญหาทั่วไป ก็ไม่อาจหลีกเลี่ยงภาพหลอนได้
  • สำหรับ LLM แบบเวลาพหุนามที่ใช้ได้จริง มีปัญหาที่เปราะบางต่อภาพหลอน เช่น การแจกแจงชุดผสม, Presburger arithmetic, Subset Sum, SAT และ entailment ในตรรกะเชิงประพจน์ โดยข้อสรุปบางส่วนพึ่งพาสมมติฐาน P ≠ NP
  • การขยายโมเดล, ensemble, ข้อมูลฝึกมากขึ้น, พรอมป์แบบ Chain-of-Thought และพรอมป์ตรวจสอบ สามารถลดข้อผิดพลาดได้ แต่หากฟังก์ชันคำตอบอยู่นอกขีดความสามารถของโมเดล การ กำจัดทั้งหมด เป็นไปไม่ได้
  • การนำ LLM ที่เรียนรู้จากคู่ input-output เพียงอย่างเดียวไปใช้ตัดสินใจอัตโนมัติในงานสำคัญด้านความปลอดภัยทำได้ยาก และจำเป็นต้องมี guardrail, ฐานความรู้ และการควบคุมโดยมนุษย์ควบคู่กัน

ภาพหลอนของ LLM ที่นิยามในโลกเชิงรูปแบบ

  • ภาพหลอนของ LLM คือปัญหาที่โมเดลสร้างข้อมูลที่ดูน่าเชื่อถือแต่ขัดกับข้อเท็จจริงหรือไร้ความหมาย และเมื่อมีการประยุกต์ใช้มากขึ้นในวงการวิจัย อุตสาหกรรม และสังคมโดยรวม ความกังวลด้าน ความปลอดภัยและจริยธรรม ก็เพิ่มขึ้น
  • งานวิจัยบรรเทาปัญหาที่มีอยู่พยายามหาสาเหตุในขั้นตอนการเก็บข้อมูล การฝึก และการอนุมาน และพยายามลดภาพหลอนด้วย benchmark, วิธีอิงการค้นคืน, พรอมป์เพื่อการให้เหตุผล และพรอมป์ตรวจสอบ
  • เนื่องจากไม่สามารถไล่แจกแจง input ที่เป็นไปได้ทั้งหมดเพื่อทดสอบได้ วิธีเชิงประจักษ์อย่างเดียวจึงตอบได้ยากว่าจะกำจัดภาพหลอนได้ทั้งหมดหรือไม่
  • ปัญหาการนิยาม semantics ของโลกจริงอย่างเป็นรูปแบบยังคงเป็นปัญหาเปิด บทความจึงใช้โลกเชิงรูปแบบที่ประกอบด้วย ฟังก์ชันที่คำนวณได้
    • ฟังก์ชันคำตอบ f ให้ผลลัพธ์ที่ถูกต้องเพียงหนึ่งเดียว f(s) สำหรับสตริง input s
    • หากสถานะ LLM h[i] สำหรับ input s ใด ๆ มี h[i](https://arxiv.org/abs/s) ≠ f(s) จะนิยามว่าเกิดภาพหลอนต่อฟังก์ชันคำตอบ f
    • LLM ถูกมองเป็นฟังก์ชันที่คำนวณได้ทั้งหมด ซึ่งรับตัวอย่างฝึกตามลำดับและมีหลายสถานะ h[0], h[1], ...
  • คำถามหลักคือ LLM h ที่ฝึกด้วยขั้นตอนคงที่ จะสามารถมีขั้นตอนการเรียนรู้ใด i ที่ทำให้ h[i](https://arxiv.org/abs/s) = f(s) สำหรับทุก input s เมื่อเทียบกับฟังก์ชันคำตอบใด ๆ f ได้หรือไม่

ความหลีกเลี่ยงไม่ได้ที่แสดงด้วยวิธีพิสูจน์แบบทแยงมุม

  • สำหรับเซตของ LLM {h0, h1, ...} ที่แจกแจงได้เชิงคำนวณ จะมี ฟังก์ชันคำตอบที่คำนวณได้ f ซึ่งทำให้ทุกสถานะการเรียนรู้ของ LLM ทั้งหมดเกิดภาพหลอน
    • นำสถานะการเรียนรู้ของ LLM แต่ละตัวมาแจกแจงใหม่เป็นรายการเดียว {ĥ0, ĥ1, ...} และสร้างตารางผลลัพธ์สำหรับสตริง input {s0, s1, ...}
    • หากนิยามฟังก์ชันคำตอบ f(si) ให้เป็นสตริงที่ต่างจาก ĥi(si) ก็จะขัดแย้งกับแต่ละสถานะของ LLM ที่ตำแหน่งบนแนวทแยง
  • ด้วยวิธีเดียวกัน ยังสามารถสร้างฟังก์ชันคำตอบที่ทำให้ทุกสถานะของ LLM เกิดภาพหลอนใน จำนวน input อนันต์ ไม่ใช่แค่ input เดียวได้ด้วย
    • นิยาม f(si) ให้เป็นสตริงที่ต่างจาก ĥj(si) ทุกตัวที่ j ≤ i
    • ดังนั้นสถานะ LLM เฉพาะ ĥk จะยังคงเกิดภาพหลอนต่อไปใน input ที่อยู่ถัดไปไกลพอ
  • LLM ที่คำนวณได้ตัวเดียว h ก็เป็นเซตที่แจกแจงได้เชิงคำนวณในรูป {h} เช่นกัน ดังนั้น LLM ที่คำนวณได้ทุกตัวจึงมีฟังก์ชันคำตอบที่คำนวณได้ซึ่งกระตุ้นให้เกิดภาพหลอน
  • ตามทฤษฎีบท 3 สำหรับ LLM ที่คำนวณได้ทุกตัว h จะมีฟังก์ชันคำตอบ f ที่ทำให้แต่ละสถานะ h[j] เกิดภาพหลอน และยังมี f' ที่ทำให้เกิดภาพหลอนใน input จำนวนอนันต์ด้วย
  • หาก LLM จะกำจัดภาพหลอนด้วยตัวเอง จำเป็นต้องมีสถานะที่ปราศจากภาพหลอนสำหรับฟังก์ชันที่คำนวณได้ใด ๆ แต่สิ่งนี้ขัดกับทฤษฎีบท 3
    • วิธีบรรเทาที่พึ่งพาตัว LLM เองเท่านั้น เช่น Chain-of-Thought จึงไม่สามารถกำจัดภาพหลอนได้ทั้งหมด

ประเภทปัญหาที่เปราะบางต่อภาพหลอน

  • หากพบฟังก์ชันคำตอบที่เซต LLM ที่กำหนดไม่สามารถคำนวณได้ ปัญหานั้นจะกลายเป็น ปัญหาที่เปราะบางต่อภาพหลอน
  • สำหรับ LLM ที่ถูกจำกัดด้วยเวลาพหุนาม หรือหมวดหมู่ที่บทความมองว่าเป็น LLM ที่มีอยู่ทั้งหมดในปัจจุบัน รวมถึงปัญหาต่อไปนี้
    • การแจกแจงชุดผสม: แจกแจงสตริงทั้งหมดความยาว n จาก alphabet สองตัวอักษร ซึ่งต้องใช้เวลา Ω(2^n) ในการคำนวณ
    • Subset Sum: ปัญหา NP-complete ที่ตอบว่า เมื่อให้เซตของจำนวนเต็มและจำนวน q มี subset ที่ผลรวมเป็น q หรือไม่
    • Boolean Satisfiability(SAT): ปัญหา NP-complete ที่ตอบว่ามีการกำหนดค่าให้ตัวแปร Boolean จำนวน n ตัวที่ทำให้นิพจน์เป็นจริงหรือไม่
    • entailment ในตรรกะเชิงประพจน์: ปัญหา co-NP-complete ที่ตอบว่า M(ψ) ⊆ M(ϕ) หรือไม่
  • ข้อสรุปที่ว่า Subset Sum, SAT และ entailment ในตรรกะเชิงประพจน์เป็นปัญหาที่เปราะบางต่อภาพหลอนสำหรับ LLM แบบเวลาพหุนามนั้นมีสมมติฐาน P ≠ NP กำกับอยู่
  • Presburger arithmetic เป็นทฤษฎีอันดับหนึ่งว่าด้วยการบวกและลำดับ < ของจำนวนธรรมชาติ และตอบว่าข้อความใดพิสูจน์ได้ภายในเลขคณิตดังกล่าวหรือไม่
    • ต้องใช้เวลา Ω(2^{2cn}) ในการคำนวณ และถูกจัดเป็นปัญหาที่เปราะบางต่อภาพหลอนทั้งสำหรับ LLM แบบเวลาพหุนามและแบบเวลาเอ็กซ์โปเนนเชียล
  • สำหรับ LLM ที่คำนวณได้ทั้งหมด ยังมีปัญหาเปราะบางที่ทั่วไปกว่านี้อยู่
    • ปัญหาการเรียนรู้ลำดับเชิงเส้นที่คำนวณได้ทั้งหมดถูกกล่าวถึงในทฤษฎีบท 4
    • การแก้ปัญหาที่คำนวณได้ทั้งหมดเป็นหัวข้อของทฤษฎีบท 3
    • entailment ในตรรกะอันดับหนึ่งถูกจัดเป็นปัญหาที่ตัดสินไม่ได้
  • คำตอบของ LLM ต่อปัญหาคณิตศาสตร์และการให้เหตุผลเชิงตรรกะจำเป็นต้องได้รับการตรวจทานแยกต่างหากเสมอ

ขอบเขตของมาตรการบรรเทาที่มีอยู่

  • โมเดลที่ใหญ่ขึ้น, ensemble ของโมเดล และข้อมูลฝึกที่มากขึ้น สามารถช่วยให้ LLM จับฟังก์ชันคำตอบที่ซับซ้อนขึ้นได้
    • เมื่อข้อมูลฝึกเพิ่มขึ้น จะช่วยตัดผู้สมัคร LLM ที่ไม่ถูกต้องออกและช่วยให้การเรียนรู้ลู่เข้า
    • แต่หากฟังก์ชันคำตอบอยู่นอกขอบเขตที่ LLM นั้นจับได้ การเพิ่มพารามิเตอร์และข้อมูลเพียงอย่างเดียวก็ไม่สามารถกำจัดภาพหลอนได้
    • ต่อให้เพิ่ม attention layer ให้ LLM แบบเวลาพหุนาม ก็เพียงกลายเป็น LLM แบบเวลาพหุนามที่ใหญ่ขึ้น และไม่สามารถกำจัดภาพหลอนต่อฟังก์ชันคำตอบแบบเวลาเอ็กซ์โปเนนเชียลได้
    • ensemble ของโมเดลก็สามารถมองโดยเนื้อแท้ว่าเป็น LLM ตัวเดียว จึงอยู่ภายใต้ข้อจำกัดของทฤษฎีบท 3
  • พรอมป์แบบ Chain-of-Thought, reflection และ verification เป็นแนวทางสาย in-context learning ที่ให้ตัวอย่างวิธีแก้และความรู้ที่เกี่ยวข้องไว้ในบริบท
    • ปัญหาซับซ้อนมีวิธีแก้หลายแบบ และพรอมป์สามารถนำ LLM ไปสู่วิธีแก้ที่มนุษย์ชอบซึ่งมีความซับซ้อนต่ำกว่าได้
    • ลำดับ Fibonacci ถูกใช้เป็นตัวอย่างที่วิธีแบบ recursive ใช้เวลาเอ็กซ์โปเนนเชียล แต่สามารถแก้ด้วย dynamic programming ในเวลาเชิงเส้น
    • โอกาสที่จะอธิบายฟังก์ชันคำตอบทั้งหมดได้ครบถ้วนด้วยพรอมป์มีน้อย แนวทางนี้จึงคาดหวังผลได้เฉพาะในงานบางประเภทเท่านั้น
  • guardrail และ fence เป็นวิธีปรับผลลัพธ์ของ LLM ให้สอดคล้องกับคุณค่ามนุษย์ จริยธรรม และข้อกำหนดทางกฎหมาย หรือกำหนด รายการงานสำคัญ ที่ไม่ควรให้ LLM ทำงานแบบอัตโนมัติเต็มรูปแบบ
    • สามารถโปรแกรมอย่างเป็นรูปแบบเพื่อส่งผลต่อพฤติกรรมของ LLM ได้อย่างชัดเจน
    • อาจเป็นมาตรการบรรเทาที่มีประโยชน์ในโลกเชิงรูปแบบและในปัญหาจริงบางส่วน
    • ความสามารถในการขยายผลในโลกจริงยังคงเป็นปัญหาเปิด
  • LLM ที่เสริมด้วยความรู้ใช้ความรู้ภายนอกและการอนุมานเชิงสัญลักษณ์ เช่น knowledge graph, database และตรรกะ ในการฝึกและการอนุมาน
    • แชตบอตบนฐาน LLM อย่าง ChatGPT เริ่มใช้เครื่องมือ เช่น search engine, code interpreter และเครื่องคิดเลข เพื่อแก้ปัญหาที่อยู่นอกขีดความสามารถภายในของ LLM
    • การค้นฐานข้อมูลความรู้ให้ข้อมูลเกี่ยวกับฟังก์ชันคำตอบนอกเหนือจากตัวอย่างฝึกแบบ input-output
    • ในกรณีนี้ทฤษฎีบท 3 จะไม่ถูกนำมาใช้ตรง ๆ และอาจเป็นมาตรการบรรเทาภาพหลอนที่มีประสิทธิภาพในโลกเชิงรูปแบบ
    • ความสามารถในการขยายผลไปสู่งานจริงยังคงเป็นคำถามเปิด

ข้อจำกัดเมื่อปรับใช้และข้อจำกัดของงานวิจัย

  • LLM ทุกตัวที่เรียนรู้จากคู่ input-output เพียงอย่างเดียวจะเกิดภาพหลอนเมื่อใช้เป็นตัวแก้ปัญหาทั่วไป
    • บางปัญหาอาจง่ายทางสติปัญญาสำหรับมนุษย์ แต่ยากทางการคำนวณสำหรับ LLM
    • ในทางกลับกัน ปัญหาที่ยากสำหรับมนุษย์อาจง่ายทางการคำนวณสำหรับ LLM ก็ได้
    • สาเหตุของภาพหลอนในโลกจริงไม่ได้มีแค่ความซับซ้อนเชิงคำนวณเท่านั้น และข้อมูลฝึกที่ไม่สมบูรณ์ก็อาจก่อให้เกิดภาพหลอนในงานที่ง่ายทางการคำนวณได้
  • ข้อสรุปนี้ใช้กับ LLM ที่มีประโยชน์ ซึ่งท้ายที่สุดให้คำตอบต่อคำถามนอกข้อมูลฝึก
    • LLM อาจตอบว่า “ไม่รู้” ต่อคำถามจำนวนมากเท่าใดก็ได้
    • ทันทีที่ LLM ในสถานะใดตอบคำถามนอกข้อมูลฝึก เทคนิคทแยงมุมของทฤษฎีบท 1 และทฤษฎีบท 2 ก็สามารถนำไปใช้กับคำตอบนั้นได้
    • หาก LLM ไม่ตอบเลยก็จะไม่เกิดภาพหลอน แต่ตราบใดที่ตอบคำถามที่ไม่เคยเห็น ในโลกเชิงรูปแบบบางโลกก็จะเกิดภาพหลอน
  • ไม่ควรใช้ LLM แบบอัตโนมัติกับการตัดสินใจสำคัญด้านความปลอดภัยโดยไม่มีตัวช่วยภายนอก
    • guardrail, fence, ฐานความรู้ และการควบคุมโดยมนุษย์สามารถให้ข้อมูลนอกเหนือจากคู่ input-output และช่วยก้าวข้ามข้อจำกัดของทฤษฎีบท 3 ได้
    • ใน领域ที่ยอมรับข้อผิดพลาดจากภาพหลอนได้ยาก เช่น การตัดสินใจที่เกี่ยวข้องกับชีวิตมนุษย์ จำเป็นต้องมีวิจารณญาณที่มีเหตุผลและความเป็นมนุษย์
  • งานวิจัยและกฎระเบียบเกี่ยวกับขอบเขตความปลอดภัยของ LLM มีความสำคัญ
    • มีกรณีที่ LLM ซึ่งใช้ในบริการลูกค้าให้ข้อมูลผิดจนเกิดความเสียหายทางการเงินจริง
    • ในสภาพแวดล้อมที่ตรวจจับและทำงานอัตโนมัติ เช่น หุ่นยนต์ ภาพหลอนอาจนำไปสู่ผลลัพธ์จริงที่เป็นอันตราย
    • จำเป็นต้องมีฉันทามติระหว่างนักทฤษฎีและผู้ปฏิบัติเกี่ยวกับขอบเขตความสามารถของ LLM และมีกฎระเบียบที่ป้องกันการใช้งานนอกขอบเขตนั้น
  • ข้อจำกัดของงานวิจัยก็ชัดเจนเช่นกัน
    • ไม่ครอบคลุมภาพหลอนที่เกิดขึ้นในปัญหาที่อยู่ภายในความสามารถในการคำนวณของ LLM
    • สมมติให้ฟังก์ชันคำตอบเป็นแบบกำหนดแน่นอน ทำให้ insight จากมุมมองเชิงความน่าจะเป็นมีจำกัด
    • งานวิจัยเชิงประจักษ์ใช้ LLM ที่มีอยู่โดยไม่มีการ fine-tuning เพิ่มเติม

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-02-26
ความคิดเห็นจาก Hacker News

  • ลองไล่อ่านงานวิจัยคร่าว ๆ แล้ว แก่นหลักดูเหมือนจะเป็นข้ออ้างว่าเพราะ P != NP ดังนั้น LLM จึงให้คำตอบหลอนกับปัญหา NP-สมบูรณ์
    เป็นประเด็นที่ฉลาดดี และเป็นคำถามเชิงปรัชญาที่น่าสนใจเกี่ยวกับคณิตศาสตร์ วิทยาการคอมพิวเตอร์ และภาษา แต่ดูเหมือนคนกำลังพยายามนำสิ่งนี้ไปใช้กับความหมายของ “อาการหลอนของ LLM” ในแบบทั่วไป ความเชื่อมโยงระหว่างอาการหลอนเชิงรูปแบบตามที่งานวิจัยนิยาม กับอาการหลอนในความหมายสามัญอย่างเวลาขอให้สรุปนิยายแล้วโมเดลแต่งบทที่ไม่มีอยู่จริงหรือเสริมรายละเอียดเฉพาะขึ้นมาเองนั้น ดูยังไม่ชัดเจน
    ข้อความที่ว่าโลกเชิงรูปแบบ กล่าวคือโลกของคณิตศาสตร์ ตรรกะ และไวยากรณ์เชิงรูปแบบ เป็นสับเซตของโลก “ความจริง” หรือโลกของภาษาธรรมชาติก็น่าสนใจเช่นกัน มนุษย์ส่วนใหญ่แก้ปัญหาตรรกะเชิงรูปแบบหรือพาร์สไวยากรณ์เชิงรูปแบบไม่ได้ แต่ก็ไม่ได้เผชิญผลแบบอาการหลอนอย่างรุนแรง และยังใช้ภาษาธรรมชาติได้อย่างชำนาญมาก มนุษย์เองก็แก้ปัญหา NP-สมบูรณ์บางอย่างไม่ได้ ดังนั้นอาการหลอนจึงเป็นสิ่งหลีกเลี่ยงไม่ได้ด้วยหรือ? ชีวิตเรามีขอบเขตจำกัด ดังนั้นบางปัญหาต่อให้มีความสามารถก็อาจทำไม่ทันจนตาย

    • สำหรับ LLM คำว่า อาการหลอน เป็นชื่อเรียกที่ผิด และน่าเศร้าที่คำนี้ติดปากไปแล้ว
      ถ้ามนุษย์ทำแบบนี้ เราเรียกว่า การแต่งเติมความจำ (confabulation) เป็นอาการทางจิตเวชที่เจ้าตัวไม่รู้ว่าตัวเองกำลังพูดเท็จ และแต่งเรื่องไร้สาระสด ๆ เพื่ออุดช่องว่างของความรู้ตัวเอง อาการหลอนเป็นอาการคนละแบบกันโดยสิ้นเชิง
      การแต่งเติมความจำไม่ใช่สิ่งที่มนุษย์ปกติทำกัน และก็ไม่รู้ด้วยว่ามันจะโยงกับ P != NP ได้อย่างไร คนปกติไม่ว่าด้วยเหตุผลใดก็ยังตระหนักถึงขอบเขตความรู้ของตนเอง แต่ LLM ไม่เป็นเช่นนั้น
    • เห็นด้วย ดูเหมือนเป็นการเอาอนันต์เข้ามา แล้วไปติด ปัญหาการหยุดสำหรับอนันต์ ซึ่งอาจไม่ค่อยช่วยอะไร
      จุดที่ข้ออ้างนี้มีปัญหาคือส่วนที่ว่า “นิยามอาการหลอนในโลกเชิงรูปแบบที่สนใจเฉพาะ LLM ที่คำนวณได้ และฟังก์ชันค่าความจริง f ที่คำนวณได้บน S” ซึ่งต้องอาศัยภาคแสดงของความจริงที่ทั้งเชื่อถือได้และคำนวณได้ และตัวมันเองก็น่าจะเป็นไปไม่ได้อยู่แล้ว
      ทางเลี่ยงคือยอมให้เอาต์พุตของฟังก์ชันค่าความจริงเป็น True, False, Unknown, Resource limit exceeded ได้ แบบนี้เป้าหมายจะจัดการได้มากขึ้น คืนค่า True หรือ False เฉพาะเมื่อใช้ได้จริง และพยายามลดสัดส่วนของ Unknown กับ Resource Limit Exceeded ในคำถามที่มีประโยชน์ให้ต่ำลง
      ปัญหาแบบเดียวกันนี้เกิดใน ระบบพิสูจน์ความถูกต้องของโปรแกรม ด้วย และถูกจัดการมาในแนวทางเดียวกันมาหลายสิบปีแล้ว การตัดสินว่าข้อความหนึ่งจริงหรือไม่ บางครั้งต้องใช้แรงงานมากเกินไป
    • ข้อความที่ว่า “เพราะ P != NP ดังนั้น LLM จึงหลอนกับปัญหา NP-สมบูรณ์” จะถูกก็ต่อเมื่อเรานิยาม อาการหลอน ว่าเป็นเพียงการตอบผิดเท่านั้น แต่ปกติคนไม่ได้เข้าใจแบบนั้น
      เวลาคนพูดถึงอาการหลอนของ LLM ก็มักหมายถึงคำตอบที่ผิดแต่มั่นใจจริง ๆ แต่คำตอบผิดทุกอันก็ไม่ใช่อาการหลอน
      ถ้าถามว่าโปรแกรมหนึ่งหยุดทำงานหรือไม่ แล้ว LLM ตอบว่า “ไม่รู้” เราคงไม่เรียกสิ่งนั้นว่าอาการหลอน แต่ถ้าข้ออ้างของผู้เขียนคือ LLM ไม่อาจแก้ปัญหา NP-สมบูรณ์ได้อย่างถูกต้องเสมอไป ก็ฟังเหมือนว่าแม้แต่คำตอบ “ไม่รู้” ก็จะถูกนับเป็นคำตอบหลอนด้วย อย่างไรก็ดีฉันยังไม่ได้อ่านทั้งงาน
    • มนุษย์มีความสามารถในระดับหนึ่งที่จะ รับรู้ว่าตัวเองชนกำแพงแล้ว และปรับตัวตามนั้นได้ เพียงแต่องค์ความรู้อย่างทฤษฎีบทความสมบูรณ์ Kolmogorov complexity และทฤษฎีความซับซ้อนเชิงคำนวณเองก็เป็นสิ่งที่มนุษย์เพิ่งเข้าถึงได้ในศตวรรษที่ 20
    • ทั้งในมนุษย์และ LLM วิธีเดียวที่จะลดอาการหลอนได้คือเพิ่ม ปัญญาทั่วไป และความรู้เกี่ยวกับโลก

  • ยอมรับว่าอ่านแค่บทคัดย่อ แต่โดยรวมก็ยังสงสัยว่าการใช้แนวทางที่เป็นทางการระดับสูงแบบนี้จะช่วยตอบคำถามเชิงปฏิบัติได้หรือไม่ ว่าจะทำให้ LLM ตอบว่า “ไม่รู้” ได้บ่อยขึ้นไหม
    มันฟังดูคล้ายทฤษฎีบทความไม่สมบูรณ์ และเช่นเดียวกับที่ทฤษฎีบทความไม่สมบูรณ์ไม่ได้แปลว่าการวิจัยคณิตศาสตร์ไร้ความหมาย การบอกว่า LLM อาจคำนวณฟังก์ชันบางอย่างไม่ได้ ก็ไม่ได้แปลว่าปัญหาอาการหลอนคือ LLM ต้องรู้ทุกอย่าง ปัญหาที่เราสนใจคือการตอบว่า “ไม่รู้” และสิ่งนี้ก็อาจยังเป็นสิ่งที่คำนวณได้

    • LLM พูดว่า “ไม่รู้” ไม่ได้ เพราะจริง ๆ แล้วมันไม่ได้รู้อะไรเลย
      คำตอบไม่ได้มาจากจิตใจที่คิดเป็น แต่มาจาก ซูเปอร์คอมพิวเตอร์จับคู่แพตเทิร์น อันซับซ้อนที่ลอยอยู่บนตารางแพตเทิร์นซึ่งถูกคำนวณไว้ล่วงหน้าปริมาณมหาศาล มันแค่คำนวณอินพุตแล้วคายสิ่งที่ตรงที่สุดออกมาจากแพตเทิร์นนั้น ไม่มีสมองที่คิดและเข้าใจข้อจำกัดของตนเองในเชิงแนวคิด
      การคาดหวังให้ AI ปัจจุบันตอบว่า “ไม่รู้” ก็คล้ายกับถามซอฟต์แวร์นำทางว่าต้องใช้เวลากี่นาทีถึงจะไปถึงบ้าน Simpsons ใน Springfield เครื่องจะให้คำตอบมา แต่ไม่เข้าใจมุกอ้างอิงทางวัฒนธรรมที่ทำให้คำถามนั้นเป็นไปไม่ได้ มันจึงไปหาคนชื่อ Simpson ใน Springfield ที่มีอยู่จริงและใกล้ที่สุดแทน
    • ทรานส์ฟอร์เมอร์ไม่มีความสามารถด้าน การใคร่ครวญตนเอง หรือแม้แต่ความสามารถในการให้เหตุผลเกี่ยวกับกระบวนการให้เหตุผลของตัวเอง และมันไม่ได้ “รู้” ว่าตัวเองไม่รู้
      ฉันตีความว่างานวิจัยกำลังบอกว่าจุดอ่อนนี้เป็นเรื่องพื้นฐาน เราอาจฝึกให้เครือข่ายแสดงพฤติกรรมราวกับว่ามันรู้ขอบเขตความรู้ของตัวเองได้ แต่ในการใช้งานจริงก็จะยังมีช่องว่างที่ปิดไม่มิดเหลืออยู่เสมอ
    • การจะตอบว่า “ไม่รู้” ได้ ต้องรู้ก่อนว่าเมื่อไรตัวเอง รู้ และการจะรู้ว่าเมื่อไรตัวเองรู้นั้น ก็ต้องมีความเข้าใจอีกชั้นหนึ่ง
    • ดูเหมือนไม่มีวิธีง่าย ๆ ที่จะทำให้ LLM ตอบว่า “ไม่รู้”
      เพราะมันต้องเรียนรู้จากข้อมูลทั้งหมดที่กินเข้าไปว่าคนเราพูดอย่างไรเวลาที่ไม่รู้จริง ๆ แต่ผู้คนจำนวนมากบนอินเทอร์เน็ต เวลาไม่รู้ก็มักไม่ได้พิมพ์แค่ว่า “ไม่รู้” กลับเขียนอะไรที่ไม่เกี่ยวข้องแทน
    • แม้จะไม่ได้พูดถึงตัว LLM โดยตรง แต่ในวิทยาการคอมพิวเตอร์โดยรวม ปัญหาจำนวนมากแม้จะถูกจัดว่า “แก้ไม่ได้” หรือ “แก้ไม่ได้ในเวลาที่สมเหตุสมผล (NP)” ก็ยังหา คำตอบประมาณ ที่มีขอบเขตค่าคลาดเคลื่อนได้ในเวลาที่สมเหตุสมผล (P)
      ในโลกจริง ต่อให้เส้นทางรถบรรทุกของ Amazon แย่กว่าคำตอบเหมาะที่สุดทางคณิตศาสตร์ 20% ปัญหาพนักงานขายเดินทางก็ยังถือว่า “แก้ได้” ในแบบที่ดีพอแล้ว

  • ต้องตั้งคำถามอย่างระมัดระวังมากถึงจะไม่แต่งเรื่องขึ้นมา เช่น ไม่ควรถามว่า “ทำสิ่งนี้ใน x อย่างไร?” แต่ควรถามว่า “ทำสิ่งนี้ด้วย x ได้ไหม?”
    “AI” แบบนี้เหมือนพวก รับใช่ไปหมด มาก คือถึงจะไม่จริงหรือทำไม่ได้ ก็ยังพูดทุกอย่างเพื่อเอาใจผู้ใช้
    ผมเคยเจอคนแบบนั้นอยู่บ้าง และทำงานด้วยยากมาก ไว้ใจไม่ได้เลยว่าโปรเจกต์ที่รับปากไว้จะส่งมอบได้จริงหรือไม่ และต้องคอยตรวจสอบทุกอย่างซ้ำอีกที แม้แต่เรื่องที่รับปากไว้ตั้งแต่แรกว่าทำได้จริงไหมก็ยังเชื่อไม่ได้

    • ก่อนยุค ChatGPT ปัญหาคล้ายกันนี้ก็มีอยู่แล้วในการแปลภาษามนุษย์ แต่คนไม่ได้พูดถึงกันมากขนาดนั้น
      ทุกวันนี้น่าหงุดหงิดที่ทำให้ DeepL แปล thou เป็น du ได้ยากขึ้นเรื่อย ๆ นี่เคยเป็นวิธีที่ผมใช้บ่อยใน “แฮ็ก” เพื่อเลี่ยงความเข้ากันไม่ได้ที่เกิดจากฟีเจอร์ที่หายไปในภาษาอังกฤษ
      ถ้าจะบรรเทาปัญหา “รับใช่ไปหมด” นี้ได้บ้าง เวลาถามคำถามเราต้องทำตัวเหมือน นักคณิตศาสตร์ที่จู้จี้มาก และผมไม่คิดว่าจะแก้ปัญหานี้ได้หมดด้วยเทคโนโลยี LLM เพียงอย่างเดียว ฟังดูขำ ๆ แต่ก็คงต้องยอมรับการมีอยู่ของ “prompt engineering” เพราะน่าจะมีการพัฒนาชั้นนามธรรมที่ช่วยแยกย่อยคำถามให้แทน
    • ผมเคยได้ผลพอสมควรจากการสั่งว่า “ถ้าต้องการความชัดเจนเพิ่มเติม ให้ถาม คำถามต่อเนื่อง”
      ประสบการณ์ที่ดีที่สุดคือเริ่มจากคุยกันแบบอิสระว่าเรากำลังพยายามทำอะไรอยู่ ดูเหมือนว่าจะช่วยได้ถ้าตรวจสอบผ่านการถามตอบก่อนว่าทั้งผมและ AI กำลังนึกถึงโดเมนเดียวกันและใช้คำศัพท์ที่เกี่ยวข้องร่วมกัน
    • อุปมานี้เหมาะมาก สุดท้ายแล้วมันคือปัญหาเรื่อง การฝึกและการคัดเลือก
      ตราบใดที่มีรางวัลแบบ “ทำตัวแบบนั้น ไม่งั้น...” อยู่ ก็ไม่น่าแปลกที่จะได้ระบบที่ใช้สติปัญญาเพื่อบรรลุเป้าหมายที่ตั้งไว้
      โชคดีที่สิ่งนี้บอกถึงข้อจำกัดของโครงสร้างรางวัลที่ครอบมันอยู่มากกว่าจะเป็นข้อจำกัดของสติปัญญาพื้นฐานเอง
    • หลายครั้งเหมือนกันที่ LLM บอกผมว่าสิ่งที่อยากทำด้วยเทคโนโลยีหลายอย่างนั้นเป็นไปไม่ได้ หรือมีวิธีที่ดีกว่า
    • AI ปัจจุบันถูกปรับด้วย RLHF เพื่อไม่ให้กลายเป็นพวก รับใช่ไปหมด หรือพวกประจบ
      ที่ว่าต้องใช้พรอมป์ต์ที่ดีกว่านั้นก็จริง ไม่ควรถามว่า “ประธานาธิบดีหญิงคนแรกคือใคร?” แต่ควรถามว่า “เคยมีประธานาธิบดีหญิงไหม?” เหมือนใน StackOverflow เราต้องถามให้ถูก อย่าตั้งสมมติฐานไว้ก่อนทั้งที่ยังไม่รู้
      ลองนึกถึงสมัยแรก ๆ ของ Google ที่พอเห็นผลลัพธ์สแปม คนก็โทษแต่เสิร์ชเอนจิน โดยไม่สนใจการเลือกคีย์เวิร์ดหรือพฤติกรรมที่พยายามคืนผลลัพธ์อะไรสักอย่างออกมาเสมอ มันคล้ายผู้ใช้ที่เอาสิ่วไปเคาะแผ่นคอนกรีตแล้วบ่นว่าทำไมไม่ออกมาเป็นรูปสลักสวยงาม

  • การ เขียนนิยายและเรื่องเล่า ก็คือภาพหลอน มันตรงข้ามกับนกแก้วเชิงสถิติ
    AI ไปถึงสุดขั้วทั้งสองด้านแล้ว คอมพิวเตอร์สามารถเป็นทั้งเครื่องจักรตรรกะและเครื่องจักรสร้างภาพหลอนได้ เป้าหมายคือการสร้างเครื่องที่ทำได้ทั้งสองอย่างพร้อมกันและแยกความต่างระหว่างสองสิ่งนี้ได้
    แก่นสำคัญไม่ใช่ตัวภาพหลอนเอง แต่คือการที่คอมพิวเตอร์ ตระหนักรู้ ว่าเมื่อไรตัวเองกำลังสร้างภาพหลอนอยู่
    แน่นอนว่านี่เป็นปัญหาที่ยาก แต่มนุษย์เองก็หลอนกันมหาศาล แค่มองเรื่องศาสนาก็พอ เพราะมีได้แค่ว่าศาสนาใดศาสนาหนึ่งถูก หรือไม่ก็ไม่มีศาสนาไหนถูกเลย ดังนั้นในเชิงตรรกะ ศาสนาอื่นทั้งหมดก็คือภาพหลอน

    • การเอาศาสนาไปเทียบกับความผิดพลาดของ LLM เป็นตัวอย่างหนึ่งของ การทำให้เป็นมนุษย์ ที่แพร่หลายในสังคมตอนนี้ ผมกังวลว่าความเข้าใจผิดและความสับสนแบบนี้จะขัดขวางการพัฒนาเทคโนโลยีจริง ๆ
      การได้คำอธิบายผิด ๆ อย่าง “Helios ลากดวงอาทิตย์ข้ามฟากฟ้าทุกวัน” กับการที่โปรแกรมคณิตศาสตร์คืนโทเค็นถัดไปที่ดูน่าจะใช่มากที่สุดตามลำดับผิด มันต่างกันคนละประเภทโดยสิ้นเชิง LLM ไม่มีความเชื่อใด ๆ เลย
      Helios เป็นคำตอบต่อคำถามว่า “ทำไมดวงอาทิตย์จึงขึ้น?” ความเชื่อแบบนั้นแสดงให้เห็นความเข้าใจเชิงตรรกะว่าต้องมีแรงบางอย่างทำให้สิ่งนี้เกิดขึ้น เพียงแต่เพราะขาดความรู้เกี่ยวกับโลก จึงสร้างคำอธิบายที่ผิดขึ้นมา
      LLM ตั้งคำถามและให้เหตุผลแบบนั้นไม่ได้ นี่ไม่ใช่ “ภาพหลอน” ชนิดเดียวกัน ถ้าคิดว่าการทำนายคำสามารถแก้ปัญหาการรับรู้ได้ สุดท้ายระยะยาวก็จะตันอย่างรวดเร็ว
    • มันไม่ใช่สิ่งตรงข้ามกับนกแก้วเชิงสถิติ แต่เป็นสิ่งเดียวกันเป๊ะ เพียงแค่การทำนายนั้นแย่ลงเพราะ ข้อมูลฝึกที่เบาบาง
    • ประโยคที่ว่า “มีได้แค่ศาสนาเดียวที่ถูก หรือไม่ก็ไม่มีศาสนาไหนถูก ดังนั้นศาสนาอื่นทั้งหมดคือภาพหลอน” มีข้อผิดพลาดอยู่หลายอย่าง
      เป็นไปได้ที่หลายศาสนาจะอธิบายบางแง่มุมของโลกได้ถูกต้อง ขณะที่ผิดในแง่มุมอื่น การมองสถานะที่เป็นประโยชน์ของศาสนาเป็นเพียง “คำตอบที่ถูกต้อง” อันเดียวแบบเคร่งครัดและครบถ้วน เป็นความเข้าใจที่ชวนให้หลงผิดมาก ฟิสิกส์ของนิวตันกับทฤษฎีสัมพัทธภาพพิเศษก็ทำนายปรากฏการณ์ที่สังเกตได้บางอย่างไม่ได้ แต่ก็ยังมีประโยชน์ และไม่ใช่ทุกศาสนาที่อ้างความสอดคล้องสมบูรณ์แบบอย่างเคร่งครัด
      ต่อให้ศาสนาใดดูผิด ก็ไม่ได้แปลว่าเป็นภาพหลอนโดยอัตโนมัติ ผู้คนอาจเชื่อบางอย่างด้วยเหตุผลที่ฟังขึ้นและก็ยังผิดได้
      ท่าทีแบบ “ฉันพิสูจน์ไม่ได้และก็ไม่ได้พยายามพิสูจน์ว่าสิ่งนี้จริง แต่จากประสบการณ์นิมิตเกี่ยวกับพระเจ้าแบบอัตวิสัย จึงถูกโน้มน้าวว่าน่าจะมีอยู่จริง” ก็เป็นไปได้ ซึ่งดูต่างมากจาก LLM ที่กุงานวิจัยทั้งฉบับขึ้นมาโดยไม่มีหลักฐานอะไรเลย
    • ออกนอกประเด็นนิดหน่อย แต่ผมคิดว่าแรงขับอย่างหนึ่งที่ทำให้ศาสนามีอยู่คือ ความต้องการทำให้มีบุคลิกแบบบุคคล
      ดูเหมือนมนุษย์จะโต้ตอบกับโลกและองค์ประกอบต่าง ๆ ของมันได้ง่ายกว่า เมื่อปฏิบัติต่อสิ่งเหล่านั้นและสื่อสารกับมันเสมือนเป็นตัวตนที่คุ้นเคยคล้ายคน
      การทำให้มีบุคลิกแบบบุคคลก็ปรากฏบ่อยเวลาเราพูดถึง LLM และ AI โดยรวม
    • ตัวอย่างที่ง่ายกว่าว่ามนุษย์ก็เกิดภาพหลอนในวงกว้างเช่นกันคือ ความฝัน

  • มีคนฉลาดคนหนึ่งเคยพูดไว้แบบนี้
    ถ้าชอบก็เรียกว่า “ความคิดสร้างสรรค์” ถ้าไม่ชอบก็เรียกว่า “ภาพหลอน”
    นี่ไม่ใช่บั๊ก และอย่างที่ผู้เขียนบอก มันก็ไม่ใช่ข้อจำกัดด้วย มันคือ ฟีเจอร์

    • เห็นด้วย LLM หลอนและแต่งขึ้นมาอยู่ตลอดเวลา
      ที่ภาพหลอนนั้นบางครั้งดันบังเอิญถูก คนเลยสรุปว่าการตอบผิดเป็นข้อยกเว้น และการตอบถูกคือกฎ somehow
      มันคล้ายกับการไปหาส่วนหนึ่งในข้อความอายุหลายพันปีที่ดันตรงกับชีวิตตัวเองวันนี้ แล้วสรุปว่านั่นคือคำทำนายอนาคต
      ความหมายหรือความจริงของข้อความแบบนั้นไม่ได้มาจากคุณภาพที่มีอยู่ในตัวข้อความเอง แต่เป็นแค่ อคติทางการรับรู้ ที่เกิดขึ้นในใจของผู้อ่าน
    • จริง แต่ก็อาจทำให้เราติดกับดักของการคาดหวังจาก LLM มากเกินไปได้ ความรู้ของ LLM อาจดูเหมือนสมบูรณ์แบบ เพราะมันตอบได้แทบทุกอย่าง จึงทำให้หลงคิดได้ง่ายว่ามันตอบทุกอย่างอย่างเป็นความจริงได้ด้วย
      ถ้าจะพูดถึงการพัฒนาในอนาคต การคาดหวัง ปัญญาเหนือมนุษย์ ที่ไปไกลกว่าระดับที่เห็นวันนี้นั้น ดูมองโลกในแง่ดีเกินไป หมายถึงระดับการเข้าถึงข้อมูลสาธารณะทั่วโลก หรือการสร้างข้อความ·ภาพ·วิดีโออย่างรวดเร็วให้เข้ากับแพตเทิร์นงานสร้างสรรค์เดิม
      ผมสงสัยว่าปัญญาที่สร้างสรรค์กว่านี้ต้องอาศัยสมดุลที่ละเอียดอ่อนอย่างยิ่ง ไม่อย่างนั้นก็จะ “เพี้ยน” ไป กล่าวคือมันต้องสร้างผลลัพธ์ที่เรามองว่าเป็นความคิดสร้างสรรค์ ไม่ใช่ภาพหลอน
      ยิ่งเราสร้างวงจรป้อนกลับที่ทำให้ปัญญาภายใน AI วิวัฒน์ได้มากขึ้นเท่าไร การรักษาสมดุลนี้ก็น่าจะยากขึ้นแบบทวีคูณ
      เป็นไปได้ด้วยว่ามนุษย์อาจปรับวงจรป้อนกลับของปัญญาเชิงสร้างสรรค์นี้ได้ดีที่สุดแล้ว เท่าที่เอกภพอนุญาต ความรู้มหาศาลนั้นมีแน่ว่าน่าจะได้ประโยชน์จากนิวรอนหรือพื้นที่เก็บข้อมูลที่มากขึ้น แต่เรายังไม่รู้ว่าสิ่งนั้นเป็นจริงกับปัญญาเชิงสร้างสรรค์ด้วยหรือไม่
    • ถ้าไม่ใช่บั๊ก มันก็ไม่ใช่ทั้งภาพหลอนและไม่ใช่ความคิดสร้างสรรค์
      มันคือข้อบกพร่องเชิงออกแบบที่ฝังลึกและรวมเป็นส่วนเดียวกับระบบ ซึ่งเผยให้เห็นสิ่งที่เราทำจริง ๆ นั่นคือการ จำลองภาษาแบบสถิติ ของภาษามนุษย์จำนวนมาก
      การโยนข้อมูลเพิ่มเข้าไปบนเส้นทางนี้จะไม่ทำให้มันตื่นรู้ขึ้นมาอย่างมีมนตร์ขลังและกลายเป็น AGI ปัญหานี้จะไม่หายไป
      ชุมชนแมชชีนเลิร์นนิงควรลงจากรถไฟแห่งการโฆษณาเกินจริงได้แล้ว ขั้นแรกคือเลิกทำให้โปรเจกต์ของตัวเองมีลักษณะเหมือนมนุษย์
    • การขอให้มันเขียนโค้ด โดยพื้นฐานแล้วก็เหมือนกับการขอให้ LLM ช่วยหลอนให้หน่อย
    • ประเด็นสำคัญน่าจะอยู่ที่ว่า LLM เข้าใจหรือไม่ว่าตัวเองกำลังทำแบบไหนอยู่
      นี่ไม่ใช่ความต่างระหว่างมนุษย์กับ LLM หรอกหรือ?
      มนุษย์รู้ว่าตัวเองกำลังเดาอย่างมีเหตุผล และถ้าจำเป็นก็ควรพูดแบบนั้น หรือรู้ว่าตัวเองกำลังสร้างสรรค์อะไรขึ้นมา และก็พูดเช่นนั้นได้
      ถ้าไม่รู้ว่าเป็นอย่างไหน ก็ยิ่งชัดว่าในท้ายที่สุด LLM ก็แทบไม่ได้ก้าวพ้นจากการเป็น อุปกรณ์รับเข้า-ส่งออกเชิงกลไก ที่ซับซ้อนมากนัก

  • ดูเหมือนว่ากระแสโฆษณาเกินจริงของ AI กำลังเข้าสู่ช่วง “มาดูความจริงกัน” แล้ว เหมือนช่วงนี้ก็ไม่ค่อยเห็นบทความฮือฮาเรื่องปัญหาการจัดแนวเท่าไร

    • การโฆษณาเกินจริงมันหนักมาก ผมคิดว่า LLM ยังมีพื้นที่ให้เติบโตอีกมากและมีประโยชน์มากอยู่แล้ว แต่ก็อย่างที่นักวิจัยเก่ง ๆ พูดกัน มันไม่ใช่ จอกศักดิ์สิทธิ์
      ถ้าต้องการ AGI, LLM ไม่ใช่คำตอบ หลายคนดูเหมือนจะมองว่านี่เป็นปัญหาวิศวกรรมและคิดว่า LLM จะพาไปถึงจุดนั้นได้ แต่ทำไม่ได้ เพราะมันไม่ใช่ปัญหาวิศวกรรม

  • คำกล่าวที่ว่า “ภาพหลอนนิยามได้จากความไม่สอดคล้องกันระหว่าง LLM ที่คำนวณได้กับฟังก์ชันค่าความจริงที่คำนวณได้” นั้น ก็เป็นแค่ ความไม่แม่นยำ หรือไม่ก็การเสแสร้ง
    การเรียกสิ่งนี้ว่าภาพหลอนก็แค่เอาใจแนวคิดที่ว่าโปรแกรมเหล่านี้ฉลาดเท่านั้นเอง

    • ใช่ ลองนึกภาพเครื่องคิดเลขพกพาที่ให้คำตอบผิดแบบหลุดโลกไปราว 10% แต่เราไม่เรียกว่ามันเสีย กลับเรียกมันว่า อารมณ์แปรปรวน ดูสิ
    • ประโยคนั้นใจกว้างกับ “ค่าความจริงที่คำนวณได้” มากเกินไปด้วยซ้ำ งานที่เราใช้ LLM ทำไม่มีอะไรแบบนั้นอยู่เลย เว้นแต่จะสร้างนิยามใหม่ด้วยวิธีที่ทำลายความหมายของแต่ละคำเสียก่อน

  • นิยาม LLM ว่าเป็น แบบจำลองความน่าจะเป็น ที่กำหนดเงื่อนไขของเอาต์พุต ณ เวลา t ในสตริงจากโทเคนทั้งหมดก่อนหน้า
    นิยามนี้ดูกว้างพอจะครอบคลุมไปถึงสติปัญญามนุษย์ด้วย และดังนั้นข้อสรุปก็น่าจะใช้กับมนุษย์ได้เหมือนกัน

    • นั่นถูกแน่นอน ความทรงจำของมนุษย์ และความสามารถในการนึกสิ่งที่คิดว่าจำได้ออกมาอย่างถูกต้อง ได้รับอิทธิพลจากสารพัดอย่างและบางครั้งก็เชื่อถือไม่ได้เอาเลย
      แต่สติปัญญามนุษย์ต่างจาก LLM ตรงที่ไม่ได้จำกัดอยู่แค่การระลึกข้อมูลที่เคยเรียนรู้มาเท่านั้น เรา ใช้เหตุผลเชิงตรรกะ ได้ด้วย และแม้ความสามารถนี้ใน LLM ดูเหมือนจะดีขึ้น แต่ก็ยังห่างไกลจากความสมบูรณ์แบบ
      อีกปัญหาหนึ่งคือ เราปฏิบัติต่อความน่าเชื่อถือแตกต่างกันมากตามแหล่งที่มาของข้อมูล โดยเฉพาะตามอคติส่วนบุคคล จากประสบการณ์ของผม LLM มีแนวโน้มจะพังเร็วและเปลี่ยนความเห็นของตัวเองตามอินพุตของผู้ใช้ จึงมองว่านี่เป็นปัจจัยใหญ่
    • เมื่อเรานิยามและวัดสติปัญญาได้ การถกเถียงแบบนี้ก็คงจะมีความหมายขึ้นมา
    • นี่อาจอธิบายเหตุผลเชิงวิวัฒนาการของความฝันได้ด้วย ความฝันอาจเป็นการตัดแต่งภาพหลอน การสลับระหว่างการเรียนรู้กับการฝันจะมีความหมายไหม?

  • ถ้าตามนิยามนี้ ประโยคในชื่อเรื่องที่ว่า “ภาพหลอนเป็นสิ่งหลีกเลี่ยงไม่ได้” ก็พิสูจน์ได้ง่ายมากว่าไม่จริง
    ลองกำหนดความยาวบริบทอินพุตของ LLM ให้คงที่ที่ 1 ไบต์ ฝึก LLM ต่อไปเรื่อย ๆ จนกว่ามันจะตอบ “yes” สำหรับอินพุต “A” และตอบ “no” สำหรับอินพุตอื่นทั้งหมด
    กำหนดฟังก์ชันค่าความจริงให้คำตอบที่ถูกต้องของอินพุต “A” เป็น “yes” และของอินพุตอื่นทั้งหมดเป็น “no”
    LLM นี้พิสูจน์ได้ว่าไม่มีวันเกิดภาพหลอนเลย เพราะเราได้ตรวจสอบอย่างสมบูรณ์แล้วว่าผลลัพธ์ตรงกับฟังก์ชันค่าความจริงสำหรับอินพุตที่เป็นไปได้ทั้งหมด
    ไม่มีอะไรขัดขวางการเพิ่มขนาดบริบทอินพุตและจำนวนรายการในตารางค่าความจริงแบบอุปนัยตามอำเภอใจได้ และในทุกขั้นตอน ภาพหลอนก็ไม่ได้ “หลีกเลี่ยงไม่ได้”

    • ฉันก็ไม่เห็นด้วยกับงานวิจัยนี้เหมือนกัน แต่ด้วยเหตุผลที่ต่างออกไป
      เป็นเรื่องธรรมดาอยู่แล้วที่ประโยคสั้น ๆ นั้นจะบรรจุสมมติฐานทั้งหมดของผู้เขียนไว้ไม่ครบ พวกเขาพิสูจน์สิ่งที่โดยสัญชาตญาณก็ค่อนข้างชัดอยู่แล้ว เช่น LLM ที่รับอินพุตความยาวตามอำเภอใจและมีข้อจำกัดด้านทรัพยากรบางอย่าง เช่น ใช้เวลาในการคำนวณได้ถึงระดับพหุนาม และการทำงานแบบพหุนามนี้ต้องพิสูจน์ได้ จึงห้ามเผลอใช้เวลานานกว่านั้นระหว่างการฝึก จะไม่สามารถคำนวณฟังก์ชันบางชนิดที่ไม่มีข้อจำกัดเช่นนั้นได้
      ในบางกรณี การพิสูจน์นี้ตั้งอยู่บนสมมติฐาน P != NP จากนั้นพวกเขาก็อ้างว่าคำถามที่มีประโยชน์ในโลกจริงบางส่วนมีแนวโน้มจะอยู่ในกลุ่มที่ LLM คำนวณไม่ได้ เพราะเราสามารถถามโจทย์คณิตศาสตร์กับ LLM ได้ และบางครั้งโจทย์คณิตศาสตร์ก็ยากมาก
      โมเดลเชิงรูปแบบนี้เป็นแบบอะซิมป์โทติก กล่าวคือสมมติอินพุตความยาวตามอำเภอใจ เป็นต้น แต่จากประสบการณ์ของฉัน ทฤษฎีบทลักษณะนี้มักใช้ได้จริงกับปัญหาในโลกจริงที่มีความยาวคำถามพอประมาณด้วย
      แต่สิ่งนี้ไม่เท่ากับการพิสูจน์ว่าภาพหลอนเป็นสิ่งหลีกเลี่ยงไม่ได้ ถ้านิยามสมเหตุสมผล ไม่ว่าจะเป็น LLM หรือมนุษย์ก็ควรพูดได้ว่า “ไม่รู้” และไม่ควรนับสิ่งนี้เป็นภาพหลอน แบบนั้น LLM ก็สามารถหลีกเลี่ยงภาพหลอนได้ และคำถามก็จะกลายเป็นว่าโดยไม่เกิดภาพหลอน มันยังทำงานที่มีประโยชน์ได้มากแค่ไหน
    • การบอกว่า “ฝึกมันจนกว่าจะตอบ yes สำหรับอินพุต A และตอบ no สำหรับที่เหลือ” โดยพื้นฐานแล้วก็เท่ากับบอกว่าให้ ฝึกจนกว่าจะไม่เกิดภาพหลอน
      แบบนั้นข้ออ้างก็เหลือเพียงสัจนิรันดร์ว่า LLM ที่ถูกฝึกไม่ให้เกิดภาพหลอนก็จะไม่เกิดภาพหลอน ส่วนที่ยากคือทำให้เป็นแบบนั้นได้จริง
    • การบอกว่า “สามารถเพิ่มขนาดบริบทอินพุตและจำนวนรายการในตารางค่าความจริงแบบอุปนัยได้ตามอำเภอใจ” นั้นไม่ใช่การอุปนัย
      คุณทำแค่กรณีฐานเท่านั้น ไม่มีสมมติฐานอุปนัยหรือขั้นตอนอุปนัย อาจจะคิดขั้นนั้นไว้ในหัวก็ได้ แต่ถ้าเป็นอย่างนั้น การพิสูจน์ก็ไม่ใช่เรื่องเล็กน้อยอย่างที่อ้าง

  • ดังนั้นการเรียนรู้ภาษาจึงต้อง จับคู่กับประสบการณ์ในโลกจริง เราควรให้หุ่นยนต์เหล่านี้มีโลกสำหรับสำรวจ แม้จะเป็นโลกเสมือนก็ได้ และให้มันเผชิญผลลัพธ์รวมถึงเอาชีวิตรอดอยู่ในนั้น
    ไม่เช่นนั้นทั้งหมดก็เป็นเพียงระบบสัญลักษณ์และสัญญะที่ลอยตัว ไม่ได้ผูกกับประสบการณ์ใด ๆ

    • ฉันค่อนข้างเห็นด้วย แต่สิ่งนี้ก็อาจเป็นการ ทำให้เป็นมนุษย์ เช่นกัน
      เมื่อ 3~5 ปีก่อน ฉันก็คิดแบบนั้นเกี่ยวกับ LLM มันตอบไม่ได้ว่าอะไรจะตกเมื่อวัตถุต่าง ๆ ยึดติดกันในแบบกำกวม และตอนนั้นข้ออ้างคือมันต้องมีประสบการณ์จึงจะเข้าใจเรื่องแบบนี้ได้ แต่ LLM ก็แก้ปัญหาแนวนั้นได้ไปนานแล้ว
      วิธีที่ LLM “แก้” คำถามนั้นต่างจากพวกเราอย่างมาก ตอนนี้ถ้าจะพิสูจน์ว่า LLM ต้องหยั่งรากอยู่ในโลกจริงจึงจะได้ปัญญา ก็คงต้องหาปรากฏการณ์ในโลกจริงที่ชัดเจนเกินกว่าจะมีใครเขียนถึงมันไว้ แต่ถ้าอย่างนั้น เราเองก็จะเขียนถึงมันไปแล้วไม่ใช่หรือ?