ผมคิดว่า Yann LeCun พูดถูกเกี่ยวกับ LLM (แม้อาจเป็นเรื่องบังเอิญ)

 (substack.com)
21 คะแนน โดย GN⁺ 2025-02-24 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • ในช่วงไม่กี่ปีที่ผ่านมา การถกเถียงเกี่ยวกับ AGI (Artificial General Intelligence, ปัญญาประดิษฐ์ทั่วไป) เพิ่มขึ้นอย่างมาก
  • คำจำกัดความที่แท้จริงของ AGI ยังไม่ชัดเจนและเป็นที่ถกเถียงกันมาก และการกำหนด ไทม์ไลน์ของ AGI ก็กลายเป็นรูปแบบการถกเถียงที่พบได้ทั่วไป
    • "ไทม์ไลน์ระยะยาว": มุมมองที่ว่า AGI จะมาถึงในอีก 10~20 ปี
    • "ไทม์ไลน์ระยะสั้น": ข้ออ้างว่า AGI จะปรากฏในเร็ว ๆ นี้
  • แต่การพูดถึงพัฒนาการของ AI ด้วยวิธีนี้ไม่มีประสิทธิภาพ
    • แทนที่จะมองว่าเป็นการมุ่งไปสู่จุดหมายปลายทางชื่อ AGI ควรมองว่าเป็นกระบวนการที่ผลิตภาพของ AI เพิ่มขึ้น
    • AI กำลังพัฒนาไปในทิศทางที่ ทำงานได้มากขึ้นด้วยการแทรกแซงจากมนุษย์น้อยลง
      • ตัวอย่าง: การติดป้ายกำกับข้อมูล, การเขียนโค้ด, การแก้โจทย์คณิตศาสตร์, การขับขี่อัตโนมัติ, การบินอัตโนมัติ เป็นต้น
    • อย่างไรก็ตาม ยังไม่แน่ชัดว่า AI จะไปถึงจุดที่ทำงานได้โดยไม่ต้องมีการแทรกแซงจากมนุษย์ตลอดไปหรือไม่
    • เราควรวัดว่า AI สามารถสร้างคุณค่าได้มากเพียงใดเมื่อเทียบกับอินพุตที่ได้รับ
  • พัฒนาการของ AI อาจมองได้ว่าเป็น การเพิ่มขึ้นของมูลค่าทางเศรษฐกิจที่ AI ผลิตได้เมื่อเทียบกับความพยายามที่มนุษย์ใส่เข้าไป
  • คำถามสำคัญ:
    • AI จะพัฒนาอย่างไร้ขีดจำกัดจน สามารถสร้างมูลค่าทางเศรษฐกิจได้โดยไม่ต้องมีการแทรกแซงจากมนุษย์หรือไม่?
    • หรือว่าจะไปถึง ข้อจำกัดทางเทคนิค ที่ระดับหนึ่ง?
  • หาก AI สามารถสร้างมูลค่าทางเศรษฐกิจได้โดยไม่ต้องมีการแทรกแซงจากมนุษย์อย่างสิ้นเชิง นั่นอาจเป็นผลลัพธ์ที่ค่อนข้างอันตราย

เราเคยเห็นปรากฏการณ์นี้มาแล้ว (รถยนต์ไร้คนขับ)

  • ในอุตสาหกรรม AI ก่อนกระแส language model บูม ราวปี 2017 เคยมี กระแสรถยนต์ไร้คนขับ
    • ตอนนั้นหลายบริษัทประกาศว่าจะเปิดตัวรถ ขับขี่อัตโนมัติเต็มรูปแบบ (Full Self-Driving, FSD) ภายใน 1 ปี และสามารถ ดึงดูดเงินลงทุนระดับหลายพันล้านดอลลาร์ ได้
    • มีการวิ่งทดสอบไปแล้วหลายล้านไมล์ และมีหลายบริษัทก่อตั้งขึ้น แต่บางแห่งก็ล้มละลายในที่สุด
  • จนถึงตอนนี้ FSD แบบสมบูรณ์ก็ยังไม่เกิดขึ้นจริง
    • Tesla ยังไม่สามารถขับขี่อัตโนมัติเต็มรูปแบบได้ และ Waymo ก็ทำงานได้เพียงบางส่วนในพื้นที่เฉพาะที่มีการทำแผนที่ไว้ล่วงหน้าเท่านั้น
    • ยังต้องมี การแทรกแซงจากมนุษย์เป็นครั้งคราว อยู่เสมอ
      > คำทำนายในปี 2016 ของ Elon Musk ซีอีโอ Tesla:
      > "ภายในปีนี้ Tesla จะขับจากลอสแอนเจลิสไปนิวยอร์กได้แบบอัตโนมัติเต็มรูปแบบ"
      > → แต่จนถึงปี 2024 ก็ยังไม่เกิดขึ้นจริง (Tesla ยังคงขายตัวเลือกสมัครสมาชิก "Full Self-Driving")
  • ตอนนี้ แทนที่จะถกเถียงกันว่า การขับขี่อัตโนมัติจะเป็นไปได้อย่างสมบูรณ์หรือไม่ แนวทางที่สมจริงกว่าคือการวัด "miles-per-intervention" หรือ จำนวนไมล์ต่อการแทรกแซงจากมนุษย์หนึ่งครั้ง
    • กล่าวคือ วัดว่า รถสามารถวิ่งได้ไกลแค่ไหนโดยไม่ต้องมีการแทรกแซงจากมนุษย์เลยสักครั้ง
  • ตามรายงานล่าสุด Tesla ต้องการการแทรกแซงจากมนุษย์โดยเฉลี่ยหนึ่งครั้งทุก ๆ 13 ไมล์
    • หากมีโมเดล AI ที่ใหญ่ขึ้น ความเร็วในการอนุมานที่เร็วขึ้น ข้อมูลมากขึ้น และวิศวกรรมที่ดีขึ้น ตัวเลขนี้ก็น่าจะเพิ่มขึ้นได้
    • แต่ ยังไม่ชัดเจนว่าด้วยเทคโนโลยีปัจจุบัน ตัวเลขนี้จะเพิ่มขึ้นได้จนไร้ขีดจำกัดหรือไม่
  • กล่าวคือ เรายังไม่รู้ว่าโมเดลขับขี่อัตโนมัติจะพัฒนาได้อย่างไร้ขีดจำกัดจนไม่ต้องพึ่งการแทรกแซงจากมนุษย์อีกเลย หรือจะไปชนเพดานที่ระดับหนึ่ง

เหตุผลที่ Yann LeCun คิดผิด (บางส่วน)

  • Yann LeCun หัวหน้านักวิทยาศาสตร์ AI ของ Meta เคยยืนกรานในอดีตว่า language model ไม่สามารถไปถึงสติปัญญาระดับมนุษย์ได้
  • เหตุผลคือ language model สร้างเอาต์พุตแบบ ระดับโทเคน ทำให้มีโอกาสเกิดข้อผิดพลาดในทุกโทเคน และเมื่อข้อผิดพลาดสะสม สุดท้ายประสิทธิภาพก็จะลดลง
  • เขามอง ปัญหาการสะสมของข้อผิดพลาด นี้ว่าเป็นข้อจำกัดร้ายแรงของ language model และโต้แย้งว่าหากจะแก้ปัญหานี้ ก็ต้องเลิกวิธีแบบ autoregressive ที่ใช้อยู่ในปัจจุบัน
  • แต่ความเป็นจริงกลับต่างออกไป
    • ระบบ AI รุ่นใหม่ล่าสุด (เช่น OpenAI o1/o3, DeepSeek R1) หักล้างสมมติฐานนี้โดยตรง
    • พวกมันยังคงเป็นแบบ autoregressive แต่กลับ ยิ่งสร้างเอาต์พุตยาวขึ้น ประสิทธิภาพก็ยิ่งดีขึ้น
    • งานวิจัยของ DeepSeek R1 แสดงรูปแบบที่ว่า ยิ่งโมเดลใช้เวลาคิดนานและตอบยาวขึ้น โอกาสที่จะตอบถูกก็ยิ่งเพิ่มขึ้น
      > หากดูกราฟในรายงาน DeepSeek R1 จะเห็นว่ายิ่งโมเดลสร้างเอาต์พุตยาวขึ้น ประสิทธิภาพก็ยิ่งดีขึ้น → ขัดแย้งกับสมมติฐานของ Yann LeCun โดยตรง
  • วิธีที่โมเดลแก้ข้อผิดพลาดด้วยตัวเอง
    • ตรรกะแบบเดิมตั้งอยู่บนสมมติฐานว่า ข้อผิดพลาดย่อมสะสมในระดับโทเคนอย่างหลีกเลี่ยงไม่ได้
    • แต่ในงานวิจัยล่าสุด โมเดลมีเมกานิซึมที่สามารถแก้ข้อผิดพลาดของตัวเองได้
    • ตัวอย่างเช่น เมื่อสร้างโทเคนตามรูปแบบบางอย่าง มีการสังเกตว่า โมเดลมีแนวโน้มจะค่อย ๆ ค้นหาคำตอบที่ดีกว่าในระหว่างทางด้วยความน่าจะเป็นระดับหนึ่ง
      > ตัวอย่างจาก DeepSeek R1: กระบวนการที่โมเดลค้นพบ "คำตอบที่ดีกว่า" ณ จุดหนึ่ง → สิ่งที่ Yann LeCun เคยบอกว่าเป็นไปไม่ได้
  • ขณะนี้นักวิจัยบางส่วนกำลังวิเคราะห์เมกานิซึม self-correction เหล่านี้ และศึกษาว่าจะชี้นำให้เกิดขึ้นอย่างมีประสิทธิภาพยิ่งขึ้นได้อย่างไร
  • อย่างไรก็ตาม ยังไม่แน่ชัดว่าวิธีนี้ ใช้ได้เฉพาะกับปัญหาบางประเภท เช่น การเขียนโค้ดหรือโจทย์คณิตศาสตร์เท่านั้นหรือไม่

เหตุผลที่ Yann LeCun พูดถูก (บางส่วน)

  • สมมติฐานของ Yann LeCun ไม่ได้ผิดทั้งหมด
  • แม้งานวิจัยล่าสุดจะหักล้างสมมติฐานเรื่อง "การสะสมของข้อผิดพลาด" ของเขา แต่ประเด็นที่ว่า language model ไม่สามารถสร้างเอาต์พุตที่แม่นยำได้อย่างไร้ขีดจำกัด ก็ยังเป็นจริงอยู่
  • กล่าวคือ AI ไม่สามารถทำงานอย่างเป็นอิสระได้ตลอดไป
  • ข้อจำกัดของเอเจนต์อัตโนมัติเต็มรูปแบบ (FAA)
    • นักวิจัยจำนวนมากกำลังพยายามพัฒนา AI agents ที่สามารถทำงานระยะยาวได้
    • แต่ปัญหานี้ คล้ายกับการพัฒนารถขับขี่อัตโนมัติเต็มรูปแบบ (FSD)
    • กล่าวคือ ด้วยเทคโนโลยีสแต็กในปัจจุบัน ระบบ AI ที่เป็นอัตโนมัติอย่างสมบูรณ์อาจเป็นไปไม่ได้
  • ความสำคัญของอินพุตจากมนุษย์
    • ข้อมูลที่น่าเชื่อถือที่สุดมาจากพรอมป์ต์ที่มนุษย์ป้อนโดยตรง
    • แม้ AI จะดึงข้อมูลเพิ่มเติมผ่านเครื่องมือบางอย่างได้ (เช่น ตรวจสอบเที่ยวบิน, ดูสภาพอากาศ เป็นต้น) แต่ การสร้างเอาต์พุตยาวขึ้นแบบไม่ยั้งไม่ได้ทำให้โอกาสได้คำตอบที่ถูกต้องเพิ่มขึ้นอย่างไร้ขีดจำกัด
    • ความเป็นไปได้ที่ AI จะสร้างเอาต์พุตที่มีประโยชน์ได้อย่างไร้ขีดจำกัดโดยไม่มีการแทรกแซงจากมนุษย์นั้นมีต่ำ

เหตุใดจึงควรหลีกเลี่ยงการถกเรื่อง AGI ในงานวิจัย AI

  • การวัดความก้าวหน้าของ language model ด้วยไทม์ไลน์ AGI เป็นวิธีที่ผิด
  • คำถามที่ดีกว่าคือ "AI สามารถทำงานได้อย่างมีประสิทธิภาพนานแค่ไหนโดยไม่ต้องมีการแทรกแซงจากมนุษย์?"
  • เช่นเดียวกับ "จำนวนไมล์ต่อการแทรกแซงจากมนุษย์" ในการขับขี่อัตโนมัติ สำหรับ language model ก็ควรวัดว่า มันสามารถสร้างเอาต์พุตที่ถูกต้องได้นานแค่ไหนโดยไม่ต้องมีการแทรกแซงจากมนุษย์ ซึ่งเป็นแนวทางที่ใช้งานได้จริงกว่า
  • แทนที่จะรอ AI ที่ทำงานได้โดยไม่ต้องมีการแทรกแซงจากมนุษย์อย่างสมบูรณ์ (FAA, Fully Autonomous Agent) สิ่งสำคัญคือการตระหนักว่าปัจจุบันเรากำลังอยู่ในกระบวนการพัฒนาอย่างต่อเนื่องของ "ปริมาณงาน AI ที่มีประโยชน์เพิ่มขึ้น"
  • แม้จะยังไม่ใช่ AGI แบบสมบูรณ์ แต่มูลค่าทางเศรษฐกิจที่เทคโนโลยีปัจจุบันมอบให้นั้น มีความหมายมากเพียงพออยู่แล้ว
  • ดังนั้น แทนที่จะถกเถียงว่า AGI จะมาถึงเมื่อไร การปรับปรุงผลิตภาพเชิงปฏิบัติของ AI น่าจะเป็นทิศทางที่พึงประสงค์กว่า

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
princox 2025-02-27

"AI ไม่สามารถทำงานได้อย่างอิสระตลอดไป"

ส่วนนี้น่าประทับใจครับ
 
GN⁺ 2025-02-24
ความเห็นจาก Hacker News

  • ซาเทีย นาเดลลากล่าวถึง AGI

    • สิ่งที่สำคัญกว่ารายได้ของ Microsoft คือการปรับลดความคาดหวังที่เกินจริงต่อ AGI
    • อัตราการเติบโตทางเศรษฐกิจของประเทศพัฒนาแล้วมีเพียง 2% และเมื่อคำนึงถึงเงินเฟ้อแล้วก็แทบเป็น 0%
    • ในปี 2025 จะมีความท้าทายด้านการเติบโตทางเศรษฐกิจ
    • ต้องสร้างการเติบโตในระดับเดียวกับการปฏิวัติอุตสาหกรรม
    • อุตสาหกรรมที่นำ AGI ไปใช้จะเป็นผู้ชนะ ไม่ใช่บริษัทเทคโนโลยี
    • เมื่อผลิตภาพเพิ่มขึ้นและเศรษฐกิจเติบโตอย่างรวดเร็ว อุตสาหกรรมก็จะพัฒนาไปด้วย
    • การยกย่องผลงานของ AGI เองไม่มีความหมาย เกณฑ์ที่แท้จริงคือเศรษฐกิจโลกต้องเติบโต 10%

  • การหาวิธีมอบงานให้ผู้คนเป็นสิ่งสำคัญ

    • การเปลี่ยนภาพลักษณ์ทางการตลาดจาก AGI ไปเป็น ASI เป็นกับดัก
    • แม้จะมีคำวิจารณ์ต่อเศรษฐกิจแบบกิ๊ก แต่ผู้คนจำนวนมากก็มีชีวิตที่ดีขึ้นผ่าน Uber หรือ DoorDash
    • Uber และ DoorDash มีคุณค่าในชีวิตประจำวัน
    • ผู้คนให้ทิปกับพนักงานส่งของเพื่อให้พวกเขามีรายได้มากกว่าค่าแรงขั้นต่ำ
    • ไม่ใช่ทุกคนจะสามารถเรียนรู้ด้วยตนเองจนกลายเป็นวิศวกรซอฟต์แวร์หรือผู้ประกอบการได้
    • การมอบงานให้ผู้คนเป็นสิ่งสำคัญ

  • ความกังขาต่อ "การให้เหตุผล" ของ LLM เพิ่มมากขึ้น

    • จากผลลัพธ์ของ DeepSeek และ Grok ทำให้เห็นข้อจำกัดของ LLM
    • มีกรณีที่โมเดลหลงไปในเส้นทางที่ไม่มีประสิทธิภาพหรือผิดพลาด
    • ตัวอย่างเช่น Grok 3 ใช้เวลา 10 นาทีไปกับการตรวจสอบชื่อการ์ดบางชื่อซ้ำแล้วซ้ำเล่า
    • มีกรณีที่โมเดลตกอยู่ในพฤติกรรมที่ไม่ก่อให้เกิดผลผลิตและยิ่งตอกย้ำตัวเอง

  • การอภิปรายเกี่ยวกับรถยนต์ไร้คนขับ

    • Tesla ยังไม่สามารถขับขี่อัตโนมัติเต็มรูปแบบได้ ส่วน Waymo ทำได้เฉพาะในบางพื้นที่
    • ระบบ AI บางระบบทำงานได้ดีขึ้นเมื่อสร้างเอาต์พุตที่ยาวขึ้น
    • แต่เอาต์พุตที่ยาวไม่ได้ทำให้โมเดลดีขึ้นเสมอไป
    • ข้อโต้แย้งของ LeCun ชี้ไปที่ปัญหาการสะสมของข้อผิดพลาดใน language model

  • ความคาดหวังที่เกินจริงต่อ AGI และหุ่นยนต์มนุษย์

    • ควรให้ความสำคัญกับผลประโยชน์ทางเศรษฐกิจมากกว่า AGI
    • เป้าหมายของ AGI คือการเหนือกว่ามนุษย์ 99.99%

  • ความคาดหวังของผู้คนต่อ AGI

    • ผู้คนต้องการสิ่งอื่นที่ไม่ใช่ AGI
    • หาก AGI มีอิสระในการตัดสินใจ ก็จะไม่สามารถควบคุมได้
    • ผู้คนต้องการผู้เชี่ยวชาญที่เก่งมากทางเทคนิค แต่ยังปฏิบัติตามคำสั่ง

  • ความสำเร็จของ language diffusion model

    • ใช้กลยุทธ์ remasking เพื่อแก้ปัญหาการสะสมของข้อผิดพลาด
    • ประสบความสำเร็จในการทำนายหลายโทเค็นพร้อมกัน

  • คำถามเกี่ยวกับมูลค่าทางเศรษฐกิจของ AI

    • เมื่อ AI เพิ่มผลิตภาพของมนุษย์ มูลค่าทางเศรษฐกิจนั้นจะถูกส่งต่อไปถึงใคร
    • หากการจ้างงานของมนุษย์ลดลง ก็จำเป็นต้องมีแผนสำหรับการกระจายมูลค่าทางเศรษฐกิจ

  • การเปรียบเทียบระหว่าง AI กับความฝันของมนุษย์

    • วิธีที่ AI สร้างและขยายสถานการณ์จากแบบจำลองของความเป็นจริงอาจคล้ายกับความฝัน
    • น่าสงสัยว่าจะสามารถเพิ่มอินพุตแบบเรียลไทม์ให้กับ LLM เพื่อ "ปลุก" มันขึ้นมาได้หรือไม่