ไม่เข้าใจว่าทำไมผู้คนยังคงมองบวกต่อ LLM
(twitter.com/skdh)> "I genuinely don't understand why some people are still bullish about LLMs."
- ใช้งาน LLM หลากหลายตัวทุกวัน เช่น GPT, Grok, Gemini, Mistral
- ใช้โดยคาดหวังว่าจะช่วยประหยัดเวลาในการค้นหาข้อมูลและสรุปเนื้อหา แต่ก็ยังสร้างแหล่งที่มา คำอ้างอิง และลิงก์ปลอมอยู่บ่อยครั้ง
- เมื่อกดลิงก์กลับพบข้อผิดพลาด 404 หรือแม้ค้นหาข้อความที่อ้างมาก็พบว่าไม่มีอยู่จริง
- แม้จะอ้างอิงงานวิจัยทางวิทยาศาสตร์ แต่เมื่อลองค้นดูก็มักพบว่าไม่มีอยู่จริง
มีการปรับปรุงอยู่บ้าง แต่ความน่าเชื่อถือยังต่ำ
- การใช้เทคนิคอย่าง DeepSearch หรือ Chain of Thought ทำให้ความแม่นยำดีขึ้นเล็กน้อยเมื่อเทียบกับอดีต
- จากการประเมินส่วนตัว DeepResearch ของ GPT-4o น่าเชื่อถือได้มากที่สุดในตอนนี้
- Grok แม้จะร้องขอ ก็ยังไม่ค่อยให้ลิงก์อ้างอิง และแม้แต่ลิงก์ทวีตก็ยังเชื่อมได้ไม่ถูกต้อง
- Gemini แย่ยิ่งกว่า เพราะแทนที่จะช่วยหาแหล่งอ้างอิง กลับแค่บอกให้ผู้ใช้ไปค้นหาเอง
มีประโยชน์กับการคำนวณง่าย ๆ หรือค้นหาค่าคงที่ แต่ความถูกต้องยังเป็นปัญหา
- การแปลงหน่วยหรือหาค่าคงที่ทางฟิสิกส์ทำได้รวดเร็ว จึงช่วยประหยัดเวลาได้
- แต่ก็มักคำนวณผิดในงานง่าย ๆ อย่างการประมาณขนาด
- จึงน่าตั้งคำถามว่างานลักษณะนี้จำเป็นต้องใช้ LLM ที่มีพารามิเตอร์มากกว่า 100 ล้านตัวจริงหรือไม่
ผลลัพธ์น่าผิดหวังแม้แต่ในการสรุปเอกสาร
- เคยอัปโหลดเอกสาร PDF เพื่อให้สรุป แต่กลับเข้าใจผิดว่าเอกสารที่หัวกระดาษระบุชัดว่าเป็นปี 2025 เป็นเอกสารของปี 2023
- ความผิดพลาดแบบนี้ให้ความรู้สึกว่าไกลจากคำว่า "ฉลาด" มาก
Knowledge graph ก็ไม่ใช่ทางแก้
- หลายคนคาดหวังว่า knowledge graph จะช่วยแก้ปัญหาของ LLM ได้ แต่ในความเป็นจริงมันทำไม่ได้
- ประโยคที่มีตรรกะสอดคล้องกันยังคงอาจไม่เกี่ยวข้องกับความเป็นจริงเลยก็ได้
- ต่อให้ knowledge graph ช่วยป้องกันข้อผิดพลาดเชิงตรรกะ ก็ยังอาจมีการสร้างประโยคที่ไม่เกี่ยวกับข้อเท็จจริงต่อไปได้
ความกังวลต่อการประเมินมูลค่าตลาดสูงเกินจริง
- บริษัทต่าง ๆ ยังคงโหมกระแส LLM เกินจริงอย่างต่อเนื่อง ซึ่งเป็นความเสี่ยง
- หากมีโมเดล AI รูปแบบใหม่อย่างสิ้นเชิงเกิดขึ้นและเหนือกว่า LLM ก็มีโอกาสที่มูลค่าของบริษัทที่ยึด LLM เป็นศูนย์กลางจะลดลงอย่างรวดเร็ว
- หากวันนั้นมาถึง คาดว่าตลาดหุ้นจะได้รับแรงกระแทกครั้งใหญ่
2 ความคิดเห็น
ผมก็เคยคิดคล้าย ๆ กันราว ๆ ปีที่แล้ว แต่พอเห็นความเร็วของการพัฒนาแล้ว กลับยิ่งมองโลกในแง่ดีมากขึ้น
ความเห็นจาก Hacker News
LLMs เป็นเทคโนโลยีที่น่าทึ่ง ทำให้สิ่งที่ใฝ่ฝันกันมานานเกิดขึ้นได้ เข้าใจและสนทนาได้แม้จะสะกดผิดหรือตั้งคำถามแปลก ๆ สร้างภาพสวย ๆ และยังช่วยเขียนโค้ดได้ด้วย แต่บางคนกลับบ่นว่ามันไม่ใช่ซูเปอร์อินเทลลิเจนซ์ที่สมบูรณ์แบบ ความเร็วในการพัฒนาของเทคโนโลยีนั้นน่าทึ่งอย่างยิ่ง บางคนบ่นว่า “มันเขียนโค้ดได้ไม่เหมือนวิศวกรอาวุโสที่มีประสบการณ์ 20 ปี”
ประสบการณ์จากการใช้ Claude เป็นหลักนั้นแตกต่างออกไปมาก จะไม่พยายามใช้ LLMs กับงานที่ดูเหมือนมันไม่น่าจะทำได้ดี คนที่ใช้ AI แบ่งได้เป็นคนที่คอยหาความล้มเหลวกับคนที่คอยหาความสำเร็จ สำหรับงานสคริปต์ง่าย ๆ LLMs แทบจะสมบูรณ์แบบ หากหาวิธีใช้ AI ให้ได้ผล มันก็จะกลายเป็นเครื่องมือที่ทรงพลัง
ความใช้งานได้จริงของ LLMs ยังขาดอยู่มาก ยังอ้างอิงหรือระบุแหล่งที่มาได้ไม่ดี การที่คอมพิวเตอร์ค้นหาข้อเท็จจริงได้ไม่แม่นยำนั้นขัดกับจุดแข็งดั้งเดิมของคอมพิวเตอร์
หลายคนกำลังใช้ LLMs ผิดวิธี ช่วงหลังมีการถกเถียงกันมากว่า language model เหมาะที่สุดสำหรับการถอดเสียงพูดหรือไม่ เมื่อ 10 ปีก่อนยังไม่มีการถอดเสียงด้วยเครื่องแบบเรียลไทม์ แต่ตอนนี้ทำได้แล้วและยังพัฒนาต่อเนื่อง แม้โมเดล AI จะมีข้อผิดพลาด การถอดเสียงด้วยเครื่องก็ยังมีประโยชน์ในหลายสถานการณ์
ไม่แน่ใจว่าควรรับฟังความเห็นของ Sabine หรือไม่ LLMs สามารถทำงานด้านการสร้างแบบจำลองลำดับและงานพยากรณ์ได้ หากลดปัญหาให้กลายเป็นการสร้างแบบจำลองลำดับได้ LLMs ก็อาจทำงานนั้นได้
จุดร่วมของคำวิจารณ์ต่อ LLMs คือมันไม่สมบูรณ์แบบ มีการใช้ ChatGPT กับงานวิจัยเชิงวิชาการอยู่บ่อยครั้ง แม้มันจะกุเรื่องบรรณานุกรมขึ้นมาบ้าง แต่ก็ช่วยค้นหางานวิจัยสำคัญได้ การตรวจสอบความถูกต้องนั้นง่าย แต่การค้นหาความรู้นั้นยาก สุดท้ายแล้วมันให้ผลเชิงบวกอย่างมาก
หลายคนสับสนระหว่างพลังของเทคโนโลยีกับฟองสบู่ที่เราอาศัยอยู่ มีการส่งคำขอไปยัง AI หลายล้านครั้งแล้วได้สิ่งที่ต้องการ เทคโนโลยีกำลังพัฒนาอยู่ และต้นทุนก็กำลังเปลี่ยนแปลง มีแนวโน้มที่จะคิดว่า AI ทำสิ่งที่มันทำไม่ได้ได้
ใช้ Claude อย่างหนักและให้มันสร้างโปรแกรมสำหรับคำถามด้านสุขภาพ ความสามารถในการอธิบายคำถามที่ซับซ้อนอย่างมีเหตุผลและแก้ไขการวิเคราะห์ได้นั้นมีคุณค่ามาก เมื่อเทียบกับแพทย์ ความรับผิดชอบยังคงอยู่ที่ผู้ใช้
หลายคนไม่เก่งในการรับมือกับเครื่องมือที่ “ไม่สมบูรณ์แบบ” LLM เป็นเครื่องมือที่ไม่มีโอกาสสำเร็จ 100% จึงต้องใช้แนวทางที่ต่างออกไป หากจินตนาการว่ามันเป็น oracle เชิงความน่าจะเป็น ความมีประโยชน์ก็จะแตกต่างกันไปตามโอกาสสำเร็จ
ฉันมีเพื่อนหลายคนที่เข้ากับคนอื่นไม่ค่อยได้ แต่ฉันเข้ากับทุกคนได้ AI ก็เช่นกัน มันไม่สมบูรณ์แบบ แต่เป็นเครื่องมือที่น่าทึ่ง ข้อดีของ AI มีมากกว่าความผิดพลาดอย่างมาก การเรียนรู้วิธีรับมือกับ AI และผู้คนคือทักษะสำคัญที่สุดอย่างหนึ่งที่จำเป็นในศตวรรษที่ 21