ภาพหลอนอันเป็นนิรันดร์ของ LLM: ความจริงที่เราต้องยอมรับ

 (arxiv.org)
1 คะแนน โดย GN⁺ 2024-09-16 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • ภาพหลอนของ LLM ไม่ใช่ความผิดพลาดในบางสถานการณ์ แต่เป็น คุณลักษณะโดยเนื้อแท้ ของระบบ และยิ่งขอบเขตการใช้งานกว้างขึ้น ก็ยิ่งจำเป็นต้องตัดสินใจโดยตั้งอยู่บนข้อจำกัดนี้
  • ภาพหลอนเกิดจาก โครงสร้างทางคณิตศาสตร์และตรรกะ จึงยากที่จะกำจัดได้อย่างสิ้นเชิงด้วยการปรับปรุงสถาปัตยกรรม ชุดข้อมูล หรือการตรวจสอบข้อเท็จจริงเพียงอย่างเดียว
  • การวิเคราะห์อ้างอิงทฤษฎีการคำนวณและ ทฤษฎีบทความไม่สมบูรณ์ข้อที่ 1 ของ Gödel พร้อมยกปัญหาที่ตัดสินไม่ได้ เช่น Halting Problem, Emptiness Problem และ Acceptance Problem
  • ในแต่ละขั้นตอน เช่น การจัดองค์ประกอบข้อมูลฝึก การค้นคืนข้อเท็จจริง การจำแนกเจตนา และการสร้างข้อความ ยังมี ความน่าจะเป็นที่ไม่เป็นศูนย์ ที่จะก่อให้เกิดภาพหลอน
  • “Structural Hallucinations” มองว่าภาพหลอนเป็นคุณสมบัติเชิงโครงสร้างที่ฝังอยู่ภายใน LLM และท้าทายความเชื่อเดิมที่ว่าการบรรเทาอย่างสมบูรณ์เป็นสิ่งที่ทำได้

ข้อจำกัดเชิงโครงสร้างของภาพหลอนใน LLM

  • ยิ่ง LLM ถูกใช้อย่างแพร่หลายในหลายโดเมนมากขึ้น ก็ยิ่งต้องทบทวน ข้อจำกัดที่มีอยู่ภายใน ของโมเดลอย่างวิพากษ์วิจารณ์
  • ภาพหลอนไม่ใช่ข้อผิดพลาดที่เกิดขึ้นโดยบังเอิญ แต่ใกล้เคียงกับการเป็น ลักษณะที่หลีกเลี่ยงไม่ได้ ของระบบ LLM
  • ในมุมมองนี้ ไม่สามารถกำจัดภาพหลอนได้ด้วยแค่โมเดลที่ดีขึ้น ชุดข้อมูลที่ใหญ่ขึ้น หรือเครื่องมือตรวจสอบจากภายนอกเท่านั้น

ทำไมจึงกำจัดได้ยากอย่างสิ้นเชิง

  • ภาพหลอนเกิดจาก โครงสร้างทางคณิตศาสตร์และตรรกะ ของ LLM
  • ยากที่จะทำให้ภาพหลอนหมดไปอย่างสิ้นเชิงด้วยการปรับปรุงสถาปัตยกรรม การปรับปรุงชุดข้อมูล หรือ กลไกการตรวจสอบข้อเท็จจริง เพียงอย่างเดียว
  • การวิเคราะห์ใช้ทฤษฎีการคำนวณและ ทฤษฎีบทความไม่สมบูรณ์ข้อที่ 1 ของ Gödel
    • ปัญหาที่ตัดสินไม่ได้ที่เกี่ยวข้อง ได้แก่ Halting Problem, Emptiness Problem และ Acceptance Problem

ความเป็นไปได้ของภาพหลอนที่ยังคงอยู่ในทุกขั้นตอนการประมวลผล

  • ทุกขั้นตอนของกระบวนการ LLM มี ความน่าจะเป็นที่ไม่เป็นศูนย์ ที่จะสร้างภาพหลอน
    • การจัดองค์ประกอบข้อมูลฝึก
    • การค้นคืนข้อเท็จจริง
    • การจำแนกเจตนา
    • การสร้างข้อความ
  • แม้จะเสริมความแข็งแรงให้กับขั้นตอนใดขั้นตอนหนึ่ง ก็ไม่ได้หมายความว่าความเป็นไปได้ของภาพหลอนจะหายไปจากทั้งระบบ

Structural Hallucinations

  • “Structural Hallucinations” คือแนวคิดที่มองว่าภาพหลอนเป็นคุณสมบัติที่มีอยู่ภายในของระบบ LLM
  • แนวคิดนี้เน้นย้ำความหลีกเลี่ยงไม่ได้ในเชิงคณิตศาสตร์ของภาพหลอน และขัดแย้งกับความเชื่อเดิมที่ว่าภาพหลอนสามารถบรรเทาได้อย่างสมบูรณ์
  • ในทางปฏิบัติ ควรมองภาพหลอนของ LLM ไม่ใช่เป็นสิ่งที่ต้องกำจัดให้หมด แต่เป็น ข้อจำกัดที่มีอยู่เสมอ

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2024-09-16
ความคิดเห็นจาก Hacker News

  • ถ้าไม่ได้ตั้งชื่อแนวคิดอย่าง “การสร้างข้อความเท็จขึ้นมาระหว่างการสร้างข้อความเชิงความน่าจะเป็น” ว่า hallucination ก็น่าจะหลีกเลี่ยงความเข้าใจผิดได้
    คำนี้ฟังเหมือนมีอะไรบางอย่างผิดพลาดระหว่างการทำงานปกติของโมเดล แต่จริง ๆ แล้วการทำงานปกติของโมเดลคือการสร้างข้อความที่ดูสมเหตุสมผล
    “ภาพหลอน” ไม่ใช่ความขัดข้องของโมเดล แต่เป็น การตัดสินเชิงคุณค่า ที่เราติดให้กับข้อความผลลัพธ์ และหมายความเพียงว่าข้อความนั้นไม่ตรงกับวัตถุประสงค์
    จากมุมมองนี้ การบรรเทาภาพหลอนกับ alignment แทบจะเป็นปัญหาเดียวกัน ดังนั้นจึงยากที่จะแก้เพียงอย่างใดอย่างหนึ่งแยกกัน

    • ใช่ เป็นการตัดสินเชิงคุณค่าหลังเกิดเหตุ ไม่ใช่คำที่แม่นยำ
      ถ้าดูความหมายตามตัวของคำว่า “ภาพหลอน” โมเดลก็เท่ากับกำลังเห็นภาพหลอนอยู่ตลอดเวลา เพียงแต่เมื่อบังเอิญสร้างเนื้อหาที่เป็นจริงในเชิงภววิสัย เราก็ไม่เรียกสิ่งนั้นว่าภาพหลอนเท่านั้นเอง
      ถ้าบทความวิจัยจัดระเบียบปัญหาคำนิยามนี้ได้อย่างมีประโยชน์ ก็อาจเป็นผลงานที่ดีได้
    • ไม่รู้ว่าคำนี้ถูกใช้ครั้งแรกอย่างไร แต่ส่วนที่ไม่แม่นยำกลับดูจะเป็นประโยชน์ต่อฝ่ายที่ต้องการ พูดเกินจริงเรื่องความสามารถของ LLM
      มันทำให้ปัญหาดูเหมือน “บั๊ก” ชั่วคราว แทนที่จะเป็นข้อจำกัดเชิงแก่นแท้ของตัวเทคโนโลยี และอาจทำให้นักลงทุนกับผู้ซื้อไม่เห็นลักษณะที่แท้จริงของมัน
    • ถ้าเรียกปรากฏการณ์นี้ตรง ๆ ว่า makin' stuff up บรรยากาศคงต่างไปมาก
      มนุษย์ก็แต่งเรื่องขึ้นมาตลอด และยังแต่งเรื่องที่เหลวไหลกว่า AI มากด้วย ดังนั้นก็ควรถามเหมือนกันว่ามนุษย์ฉลาดจริงหรือไม่ /ไม่ได้ล้อเล่นเสียทีเดียว
    • เคยเห็นคำว่า confabulation (การปั้นแต่งเรื่อง) อยู่สองสามครั้ง และคิดว่าสะท้อนสิ่งที่เกิดขึ้นใน LLM ได้ดีกว่า
    • วงการ AI/แมชชีนเลิร์นนิงทั้งหมดพึ่งพา การทำให้เหมือนมนุษย์ ในการสร้างคำศัพท์ และคำเหล่านั้นก็ถูกเสริมแรงด้วยเรื่องเล่าต่าง ๆ

  • ภาพหลอนอาจใกล้เคียงกับผลลัพธ์ของการพูดคำตอบที่เป็นไปได้อันแรกที่ผุดขึ้นมาเมื่อถูกถามเลยก็ได้
    มนุษย์มักไม่ทำแบบนั้น เรามีความทรงจำว่าเคยตอบคำถามลักษณะนี้ผิด และก่อนพูดก็จะเทียบกับความรู้อื่น ๆ พร้อมทำ การตรวจสอบสามัญสำนึก ภายใน
    ดังนั้นแทนที่จะคาดหวังให้ LLM สร้างคำตอบที่ถูกต้องทันที ควรให้พื้นที่สำหรับการทบทวน
    ความคิดของมนุษย์เองก็หลายครั้งได้คำตอบจากการถกเถียงและประนีประนอมกันภายในของบทบาทและเพอร์โซนาหลายแบบ และหลังจากมี “ฉบับร่าง” แรกแล้ว จึงจะจินตนาการบริบทเพิ่มเติมได้ เช่น ผลที่จะเกิดขึ้นหากพูดคำตอบนั้นออกไป
    ดังนั้นการประเมินสติปัญญาของ LLM จากแค่ “ปฏิกิริยาตามสัญชาตญาณ” ครั้งแรกต่อพรอมป์ อาจเป็นแนวทางที่ผิด

    • ถ้าถามมนุษย์ในสิ่งที่ไม่รู้ ความคิดแรกไม่ใช่คำตอบที่แต่งขึ้น แต่คือ ไม่รู้
      การแต่งเรื่องกลับต้องใช้ความพยายามเสียด้วยซ้ำ และหากไม่ได้ฝึกมาก็มักทำได้ไม่ดี มีบางคนที่ทำเช่นนั้นได้อย่างเป็นธรรมชาติ แต่โดยทั่วไปมักถือว่าเป็นความผิดปกติ
      LLM ไม่มีแนวคิดเรื่อง “ไม่รู้” มันเพียงเขียนสิ่งที่เข้ากับข้อมูลฝึกได้ดีที่สุดเท่านั้น และในข้อมูลฝึกไม่ได้มี “ไม่รู้” มากนัก จึงไม่ใช่คำตอบที่เป็นธรรมชาติด้วย
      เคยถามรายชื่อบาร์ในเมืองเล็ก ๆ แล้วมันแต่งขึ้นมาอย่างสมจริงครบทั้งชื่อ ที่อยู่ และเบอร์โทรศัพท์ ถ้าบังคับให้มนุษย์ธรรมดาที่ไม่รู้จักเมืองนั้นดีตอบให้ดูสมจริงโดยห้ามพูดว่า “ไม่รู้” สุดท้ายก็อาจสร้างคำตอบขึ้นมาได้ แต่สิ่งนั้นย่อมไม่ใช่ความคิดแรกอย่างแน่นอน
    • ไม่มีเหตุผลที่ต้องเปรียบ LLM กับจิตใจมนุษย์ และผมมองว่าการเปรียบแบบนั้นใกล้เคียงกับนิสัยเสียที่พยายาม ทำให้ทุกอย่างเหมือนมนุษย์
      LLM ไม่มีสัญชาตญาณ และไม่ได้มีประสบการณ์ของเวลา มันไม่ใช่เด็กที่ตื่นเต้นเพราะเวลาสอบใกล้หมดแล้วจึงเดาคำตอบอะไรก็ได้ แต่เป็นผลผลิตของการพัฒนาซอฟต์แวร์ที่ละทิ้งธรรมเนียมกว่าครึ่งศตวรรษในการทำให้คอมพิวเตอร์ให้คำตอบที่ถูกต้อง แล้วไปไล่ตาม บรรยากาศ แทน
    • ไม่มีสติปัญญาให้ประเมิน มันไม่ฉลาด และภายในก็ไม่มี ตรรกะหรือการไตร่ตรอง อยู่ด้วย
    • คงเพราะคุณไม่เคยถามอะไรผม โดยเฉพาะถ้าถูกถามคำถามเทคนิคตอนดื่มกาแฟ ถ้าได้ 1 เซนต์ต่อคำตอบที่ผิดหนึ่งข้อ ตอนนี้ผมคงเป็นเศรษฐีเงินล้านไปแล้ว
    • สมองมนุษย์ดูเหมือนจะผูกความคิดเข้ากับความจริงที่สังเกตได้ในบางรูปแบบ
      ส่วนที่รับผิดชอบประสาทสัมผัสและการอนุมานมีปฏิสัมพันธ์กับส่วนที่จัดการความทรงจำ และความทรงจำต่างชนิดกันก็ช่วยจัดการการประนีประนอม ความทรงจำที่สมเหตุสมผลอาจแข็งแรงกว่าสิ่งที่บังเอิญเห็นผ่าน ๆ ด้วยซ้ำ
      ดูเหมือน LLM จะไม่ได้ทำสิ่งเหล่านี้ และโดยการออกแบบแล้วอ่อนกว่าสมองในเรื่องการบรรเทาภาพหลอน
      แนวทางวิจัยที่ได้แรงบันดาลใจจากสมองน่าจะเป็นการดูว่าส่วนใดในสมองของคนที่มีภาพหลอนดูผิดปกติ และดูโมเดลการทำงานของมันว่าสามารถนำไปใช้กับ LLM ได้หรือไม่
      แนวคิดเรื่องการนำโมเดลของโครงสร้างอย่างฮิปโปแคมปัสไปใช้กับโครงข่ายประสาท ก็มีนักวิจัยหลายคนทำอยู่แล้ว

  • ผมคิดว่าโครงสร้างปัจจุบันโดยพื้นฐานแล้ว เต็มไปด้วยภาพหลอน จนจะจำกัดการใช้งานจริงอย่างหนัก โดยเฉพาะการใช้งานตามความคาดหวังที่ถูกโฆษณาเกินจริง
    อย่างไรก็ตาม บทความนี้ตั้งเกณฑ์ของ “ไม่เกิดภาพหลอน” ไว้สูงจนแทบเป็นไปไม่ได้
    เท่ากับเป็นการกล่าวซ้ำถึงข้อจำกัดพื้นฐานที่รู้จักกันดีของระบบรูปนัยและการคำนวณเชิงกล แล้วจึงสรุปอย่างเห็นได้ชัดว่า LLM ก็มีข้อจำกัดนั้นร่วมด้วย
    ตราบใดที่ไม่ดึงเรื่องทวินิยมหรือการคำนวณเหนือขีดจำกัดเชิงควอนตัมเชิงคาดเดาเข้ามา ข้อจำกัดนี้ก็ใช้กับมนุษย์อย่างมากเช่นกัน

    • ในทางกลับกัน LLM ที่กำจัดภาพหลอนได้ก็แทบจะกลายเป็นอุปกรณ์ คัดลอก-วาง
      คุณสมบัติที่น่าสนใจของ LLM มาจากการที่มันแต่งบางอย่างขึ้นมาได้ แต่ยังทำให้ดูสมเหตุสมผล
    • C.S. Peirce เป็นผู้ที่อธิบายลักษณะของการอนุมานแบบอับดักชัน และยังมีอิทธิพลอย่างมากต่องาน AI คลาสสิกของ John Sowa เขามีมุมมองที่น่าสนใจ
      เขามองว่าสสารและจิตใจต่างก็มีอยู่จริง แต่ไม่ใช่สิ่งที่เป็นทวิภาวะ และระหว่างทั้งสองมีการเปลี่ยนผ่านที่ลื่นไหลและต่อเนื่อง
      อย่างไรก็ตาม ไม่ว่าธรรมชาติของจิตใจกับสสารจะเป็นอย่างไร ก็มีหลักฐานที่น่าเชื่อว่ามนุษย์สร้างความหมายให้สัญลักษณ์ผ่านกระบวนการที่ Peirce เรียกว่า semiosis (กระบวนการสร้างความหมายของสัญญะ)
      เรายังไม่มีสัญศาสตร์ที่ทำให้สิ่งนี้เป็นรูปนัยได้อย่างเหมาะสม และในพื้นที่นี้ก็มีปรัชญาประยุกต์เชิงคณิตศาสตร์ที่น่าสนใจอยู่มาก แต่ก็มีเรื่องไร้สาระจากแวดวงวิชาการมากเช่นกัน
      จนกว่าเราจะทำสิ่งนั้นได้ ก็ยากที่จะสร้างออโตมาตาที่ทำ semiosis และในระยะหนึ่ง ความแตกต่างเชิงคุณภาพระหว่างความสามารถของมนุษย์กับ LLM ก็จะยังคงอยู่
    • พูดตรง ๆ สิ่งที่น่าประทับใจคือมัน ทำได้แย่แค่ไหน
      ผมคงพูดไม่ได้ว่าได้ลองใช้ทุกโมเดลแล้ว แต่ส่วนใหญ่ล้มเหลวเร็วมากกับคำขออย่าง “อธิบายกระบวนการที่เอนทิตีสามตัวมีปฏิสัมพันธ์กัน”
      โดยทั่วไปสองตัวยังพอจัดการได้ แต่สุดท้ายก็จะวนพูดซ้ำ ๆ หรือในหลายโมเดลเริ่มทำซ้ำทั้งย่อหน้า และสามตัวดูเหมือนจะเกินกำลังโดยสิ้นเชิง
      LLM อาจมีบทบาทในสาขาที่ “ส่วนใหญ่ผิด แต่การตรวจสอบมีต้นทุนต่ำ ดังนั้นจึงยอมเผาเงินเพื่อสร้างอะไรบางอย่าง เผื่อจะมีไอเดียดี ๆ ให้เก็บได้”

  • การวัด ข้อมูลฝึกที่ไม่สมบูรณ์ ดูจะไม่ได้มีความหมายมากนัก
    แต่เดิมการเรียนรู้ก็ไม่ใช่การจัดการกับข้อมูลที่ไม่สมบูรณ์หรอกหรือ? ถ้าข้อมูลสมบูรณ์แบบ ก็ไม่จำเป็นต้องมี machine learning แค่สร้างฟังก์ชันที่แมปอินพุตเป็นเอาต์พุตก็พอ
    machine learning คือการเติมช่องว่างด้วยการคาดการณ์ และการเรียนรู้ทั่วไปก็เช่นกัน
    ดังนั้นสิ่งที่ทฤษฎีนี้เล็งเป้าไว้ก็ใช้ได้กับปัญญาและการเรียนรู้ของมนุษย์ด้วย
    อาจพูดได้ว่า LLM หลอนอยู่เสมอ แต่มนุษย์ก็หลอนอยู่เสมอเหมือนกัน
    ปัญหาที่ต้องแก้จริง ๆ คือวิธีทำให้ LLM หลอนเหมือนมนุษย์

    • การตีความว่า “machine learning คือการเติมช่องว่างด้วยการคาดการณ์” ดูจะผ่อนปรนต่อ machine learning แบบเครือข่ายมากเกินไป
      machine learning ถูกออกแบบมาเพื่อแก้ปัญหา และแตกต่างจาก AI แบบคลาสสิกที่สร้างอัลกอริทึมโดยตรง ตรงที่มันสามารถอนุมานฟังก์ชันจากข้อมูลจำนวนมากได้
      แต่ “ปัญญา” แบบ machine learning ในปัจจุบันต่างจากความคิดของมนุษย์ มนุษย์ไม่จำเป็นต้องมีตัวอย่างเป็นล้าน ๆ ตัวเพื่อรู้จักแมว แค่เห็นสองสามตัวก็ยังระบุได้ต่อไปในภายหลัง
      แค่เห็นแมวดำหนึ่งตัว ก็สามารถจำแมวบ้านตัวอื่น ๆ ว่าเป็นแมวได้อย่างถูกต้อง และถ้าดูเด็ก ๆ ก็จะเห็นว่าเป็นเช่นนั้นจริง
      ปัญญาคือความสามารถในการคิดหาวิธีแก้โดยไม่มีความรู้ล่วงหน้า และยิ่งสิ่งมีปัญญามากเท่าไร ก็ยิ่งต้องการข้อมูลน้อยเท่านั้น ยิ่งเข้าใกล้ระบบที่มีปัญญามากขึ้น การจะให้ได้ผลไม่ควรต้องใช้ข้อมูลมากขึ้น แต่ควรใช้น้อยลง
    • ถูกต้อง แต่ความแตกต่างใหญ่มากขึ้นอยู่กับว่าเราขอให้โมเดลทำ interpolation หรือ extrapolation
      โดยทั่วไปโมเดลทำอย่างแรกได้ดีกว่ามาก และมีปัญหาใหญ่กับอย่างหลัง

  • วิธีที่ LLM หลอนในปัจจุบันดูจะเกี่ยวข้องอย่างลึกซึ้งกับวิธีที่มันแทนความรู้
    ถ้าดู cost function ก็มีเหตุผลที่เรียกมันว่า log likelihood เป้าหมายจริงไม่ใช่คำตอบที่สอดคล้องกับแนวคิดต่าง ๆ ของโมเดลโลกจริงที่แข็งแรง แต่คือการสร้าง ลำดับโทเคน ที่ดูน่าเป็นไปได้ในความหมายที่เป็นนามธรรมที่สุด
    แม้ตอนโมเดลหลอน มันก็ยังทำสิ่งที่เราฝึกมันมาได้ค่อนข้างดี และถอยกลับโดยนัยไปสู่แพตเทิร์นทั่วไปกว่าในข้อมูลฝึก เช่น ไวยากรณ์และการเลือกคำง่าย ๆ เพื่อสร้างข้อความที่มีความเป็นไปได้สูง
    จินตนาการได้ว่า หากมี การเปลี่ยนแปลงโครงสร้าง ที่เหมาะสม ก็อาจแก้ปัญหาการหลอนได้ทั้งหมดหรือเกือบทั้งหมด
    อย่างไรก็ตาม การทำการเปลี่ยนแปลงเช่นนั้นพร้อมกับยังสร้างโมเดลที่ฝึกได้อย่างมีประสิทธิภาพหรือไม่นั้น ดูเหมือนยังเป็นคำถามที่เปิดอยู่

    • ถ้ามีใครค้นพบการเปลี่ยนแปลงโครงสร้างแบบนั้น ผลลัพธ์ก็คงจะไม่ถูกเรียกว่า LLM อีกต่อไป และบทความก็จะพูดถูก
    • แก้ปัญหาได้อย่างสมบูรณ์ไม่ได้ เพราะในทางคณิตศาสตร์มัน ตัดสินไม่ได้ และจริง ๆ แล้วก็น่าจะเดาได้ด้วยสัญชาตญาณแม้ไม่มีพรีพรินต์นี้
      แต่คำถามที่ดีกว่าคือเราจะได้สมรรถนะที่ดีพอหรือไม่

  • การใช้ LLM อย่างมีประสิทธิภาพ โดยพื้นฐานแล้วต้องเรียนรู้วิธีใช้ เทคโนโลยีที่เชื่อถือไม่ได้และไม่เป็นเชิงกำหนด
    ดูเหมือนหลายคนแทบข้ามกำแพงนี้ไม่ได้

    • ความซื่อสัตย์และความถูกต้องสร้างความไว้วางใจ
      เมื่อเชื่อใจบางสิ่ง ภาระทางความคิดจะลดลง เพราะไม่จำเป็นต้องสร้างแบบจำลองในใจมากนักว่าสิ่งนั้นอาจหลอกเราได้อย่างไร และควรตอบสนองอย่างไร
      ดังนั้นอย่างน้อยสำหรับผม LLM มีประโยชน์ แต่ก็ทำให้เครียดมาก
    • LLM ไม่ได้ไม่เป็นเชิงกำหนดโดยพื้นฐาน ตัวอย่างเช่น การสร้างด้วย greedy sampling นั้นง่ายมาก

  • ตอนนี้อาจถึงเวลาที่ ฟองสบู่ จะแตกแล้วก็ได้

    • ก่อนหน้านั้น เราต้องบรรลุสิ่งที่เราเรียกว่า “AGI” ให้ได้ก่อน
      ยิ่งกว่านั้นต้องนิยามมันก่อน แต่ในความเป็นจริงไม่มีใครรู้ว่า AGI คืออะไร ดังนั้นมันจึงเป็นอะไรก็ได้
      การที่ Sam ไม่เชื่อว่า AGI สำเร็จแล้ว แม้หลัง GPT-3.5, ChatGPT, GPT-4 แบบมัลติโมดัล และ o1(Strawberry) ดูเหมือนจะหมายความว่า AGI สุดท้ายแล้วคือการยึดครองงานสร้างสรรค์และแรงงานของคนหลายพันล้านคน ระดมทุนหลายแสนล้านดอลลาร์ และทำให้คนวงในรวยขึ้นระหว่างที่พาทุกคนเข้าสู่ระบบบนฐาน UBI
      อาการหลอนดูเหมือนเป็นข้ออ้างเพื่อบอกว่า AGI ยังไม่สำเร็จ จึงสามารถระดมเงินเพิ่มสำหรับต้นทุนพลังงานในการฝึกและ inference ให้กับโมเดลที่จะยังหลอนต่อไปได้
      หลังจาก OpenAI ยึดมูลค่าทั้งหมดและคนวงใน cash out แล้วเท่านั้น พวกเขาจึงจะต้องการให้ฟองสบู่แตกจนสตาร์ทอัพ AI 95% หายไป โดย OpenAI เป็นข้อยกเว้นที่ยังอยู่
    • LLM ขยายทั้งปัญญาและความโง่
      ดังนั้น Terence Tao จึงมองว่า LLM อยู่ราวระดับนักศึกษาบัณฑิตศึกษาธรรมดา ๆ และกำลังดีขึ้นเรื่อย ๆ แต่คุณกลับแค่รอให้มันตาย

  • ไม่จำเป็นต้อง “ใช้ชีวิตอยู่กับสิ่งนี้”
    แค่ไม่ใช้มัน เพิกเฉย และคัดค้านการแพร่กระจายและการยอมรับมันก็พอ ผมจะทำแบบนั้นต่อไป

    • ในเชิงเทคนิคก็ถูก สุดท้าย Donald Knuth ก็ยังไม่ใช้อีเมล
      แต่ “พวกเรา” ในระดับโลกแทบจะแน่นอนว่าจะไม่ทำตามคำขอนั้น
    • นี่คือ “การต่อต้านความก้าวหน้า” เราควรแสวงหาความก้าวหน้าเสมอ แม้มันจะนำไปสู่ประตูนรกแห่งความเป็นจริงที่พังทลายซึ่งเราสร้างขึ้นเองก็ตาม อยากบอกว่าเดินหน้าสู่แดนประหลาดกันเถอะ
    • ผมอยากใช้ และคนอื่น ๆ อีกมากก็ใช้ ถ้าคุณอยากตกขบวนก็แล้วแต่

  • LLM จะเดินตามเส้นทางของ expert systems
    ต่อไปเราคงสงสัยว่าทำไมเราถึงคิดว่ามันเป็นไปได้
    อยากแนะนำว่าอย่าขังตัวเองไว้กับอัตลักษณ์แคบ ๆ ว่าเป็นผู้เชี่ยวชาญ AI อีกไม่นานข้างนอกคงหนาวพอดู

  • ไม่เห็นด้วย — https://arxiv.org/abs/2406.17642
    งานวิจัยที่เกี่ยวข้องกล่าวถึง halting problem และปัญหาที่คำนวณได้ยาก
    แน่นอนว่า LLM ตอบปัญหาที่คำนวณได้ยากไม่ได้
    ผมก็ไม่เข้าใจว่าทำไมการตอบคำถาม halting problem ว่า “นั่นคำนวณไม่ได้” ถึงควรถูกเรียกว่าการหลอน