- ใน รายการหนังสือแนะนำของ A16Z มีการพบวลีที่ไม่ตรงกับความเป็นจริงในคำอธิบายงานบางชิ้นว่า “ส่วนใหญ่แล้วหนังสือจบลงกลางประโยค”
- Neal Stephenson ชี้ชัดว่าแม้งานของเขาจะมีข้อที่อาจทำให้เกิดข้อโต้แย้งได้ แต่ ไม่มีเล่มไหนจบลงกลางประโยคจริง ๆ
- เขาเห็นว่าความเป็นไปได้สูงสุดคือการเผยแพร่ ข้อความที่ AI สร้างขึ้นโดยไม่ผ่านการตรวจทานของคน
- จากบันทึกของที่เก็บข้อมูลใน GitHub สามารถยืนยันได้ว่าเกิดจาก ร่างต้นฉบับที่ Cursor IDE สร้าง และต่อมามี การแก้ไขที่ขาดความรอบคอบของมนุษย์
- กรณีนี้เป็นตัวอย่างสำคัญที่สะท้อนปัญหา ความน่าเชื่อถือและการขาดการตรวจสอบเนื้อหาที่ AI สร้าง
รายการหนังสือของ A16Z และถ้อยคำที่ผิด
- ใน รายการหนังสือแนะนำของ A16Z มีการเผยแพร่นวนิยายหลายเล่มของ Neal Stephenson
- ในคำอธิบายรายการมีประโยคว่า “ส่วนใหญ่แล้วหนังสือจบลงกลางประโยค (คือหยุดกลางประโยคตามตัวอักษรอย่างแท้จริง)”
- Stephenson ระบุว่าเรื่องนี้ ไม่เป็นความจริง และเพราะมีคำว่า “literally” อยู่ จึงถือว่าเป็นข้อผิดพลาดที่ชัดเจน ไม่ใช่แค่การเปรียบเทียบเชิงวรรณศิลป์
- เขาอธิบายว่าบางผู้อ่านอาจไม่พอใจกับตอนจบ แต่ผลงานอย่าง 《Snow Crash》, 《The Diamond Age》 และ 《Seveneves》 ล้วนมีตอนจบที่ชัดเจน
ลักษณะของข้อผิดพลาดและปัญหาที่ตามมา
- วลีนี้ไม่ใช่แค่ ความเห็นทางวรรณกรรม (opinion) เท่านั้น แต่เป็น การกล่าวอ้างเชิงข้อเท็จจริง (factual assertion) ที่ให้ข้อมูลผิด
- Stephenson กล่าวว่าข้อผิดพลาดนี้ทำร้าย ความซื่อสัตย์ของผู้เขียนและบรรณาธิการ
- เขาตั้งคำถามว่าทำไมคำกล่าวเช่นนี้จึงถูกใส่ขึ้นในเว็บไซต์ของ A16Z
สมมติฐานที่ 1: ถ้อยคำที่ AI สร้างขึ้น
- เขาเสนอความเป็นไปได้สูงสุดว่า มีการเผยแพร่ข้อความที่ AI เขียนขึ้นโดยไม่มีการตรวจสอบจากมนุษย์
- การสะกดชื่อผิดและลักษณะสำนวนที่แปลกชี้ให้เห็นจุดนี้ได้
- ปรากฏการณ์นี้เกิดขึ้นซ้ำแล้วซ้ำอีกในหลากหลายสาขา รวมถึง กฎหมาย, สื่อมวลชน และวงการวิชาการ
- Stephenson เปรียบเทียบกระบวนการนี้กับ “Inhuman Centipede” และชี้ว่าข้อมูลที่ผิดพลาดมีโอกาสถูก เรียนรู้ใหม่ใน LLM รุ่นต่อไป
สมมติฐานที่ 2: การใช้ข้อมูลที่ผิดของมนุษย์
- อีกความเป็นไปได้หนึ่งคือ ความผิดพลาดของมนุษย์จากการอิงข้อมูลที่ไม่ถูกต้อง
- สมมติฐานย่อย A: ใช้ PDF สำเนาที่ไม่ถูกกฎหมาย (bootleg PDF) อาจทำให้ดูเหมือนอิงเวอร์ชันที่ถูกตัดกลางหน้า
- สมมติฐานย่อย B: คุณภาพของคำแปลอาจต่ำจนทำให้ดูเหมือนประโยคจบกลางทางจริง ๆ
การติดตามหาสาเหตุจริง
- Stephenson พบเบาะแสใน ประวัติ commit ของที่เก็บข้อมูล GitHub หลังจากตรวจเว็บไซต์
- ใน commit วันที่ 21 กรกฎาคม 2023 มีการยืนยันว่าเคยมี ร่างต้นฉบับที่ Cursor IDE สร้างขึ้น
- ร่างต้นฉบับมีการเปรียบเทียบถึง “segfault” แต่ต่อมามีการ แก้ไขผิด โดยเปลี่ยนเป็น “จบกลางประโยค”
- จากนั้นมีคนอื่น เพิ่มการสะกดผิดในขั้นตอนสรุป และทำให้ข้อผิดพลาดสมบูรณ์แบบ
- เขาประเมินว่าเป็นผลจาก ความเกียจคร้านในการใช้ AI ร่วมกับความประมาทของมนุษย์
ความน่าเชื่อถือบนอินเทอร์เน็ตและเนื้อหา AI
- Stephenson ชี้ว่า ผู้ใช้ยังคงมี ความเชื่อใจกับข้อมูลออนไลน์แบบตาบอด อยู่มาก
- เขายกตัวอย่างเหตุการณ์ในอดีตที่มีการแทรก ชิ้นส่วนประโยค จากนวนิยาย Cryptonomicon ของเขาแบบสุ่มในอีเมลสแปม
- ชิ้นส่วนเหล่านี้จริง ๆ แล้วถูกตัดตอนกลางประโยค และเขาอ้างถึง ความเสี่ยงที่ LLM อาจนำข้อมูลเหล่านี้ไปเรียนรู้
- เขาเน้นย้ำผ่านเหตุการณ์นี้ถึง ความเสี่ยงที่ AI สร้างเนื้อหาโดยไม่แยกแยะข้อเท็จจริงกับเรื่องแต่ง
บทสรุป
- Stephenson แสดงความขอบคุณต่อการแนะนำของ A16Z ขณะเดียวกันก็ยกประเด็นเรื่อง ความจำเป็นในการตรวจสอบข้อเท็จจริงให้ชัดเจน สำหรับข้อความที่ผิดพลาด
- กรณีนี้ถูกมองว่าเป็นตัวอย่างที่เปิดเผย ปัญหาการขาดการตรวจสอบความถูกต้องของเนื้อหา AI และความรับผิดชอบในการตรวจทานของมนุษย์
1 ความคิดเห็น
ความเห็นจาก Hacker News
มีการเปิดเผย commit history ไว้ จึงดูออกได้ไม่ยากว่า reading list นั้นผ่านมือ AI มา
ดูได้จากลิงก์คอมมิตที่เกี่ยวข้อง
ข้อความคอมมิตมีแค่ว่า “stephenson” เลยไม่ชัดเจนว่าทำไมถึงเปลี่ยน
ลิงก์คอมมิตที่แก้ไขแล้ว
ประสบการณ์กับ LLM ของฉันไม่ได้เป็นบวกเหมือนคนอื่น ๆ
ยกตัวอย่าง โปรโมชัน Gemini ของ Google ที่เสนอไทม์ไลน์การเตรียมมื้อค่ำวัน Thanksgiving แต่พอถามต่อกลับให้คำตอบที่ขัดกันเองถึงสามเวอร์ชัน
จริง ๆ แค่ตอบประมาณว่า “เอาผ้าคลุมขนมปังไว้เพื่อให้อุ่น” ก็พอแล้ว แต่กลับตอบวกวนผิดประเด็นซ้ำ ๆ
การสร้างโค้ดสำเร็จแค่ 1 ใน 6 ครั้ง, คำถามแนว StackOverflow สำเร็จ 5 ใน 6 ครั้ง, ส่วนคำถามทั่วไปก็ขึ้น ๆ ลง ๆ
เวลามันพลาดคือพลาดหนักมาก จนรู้สึกน่ากลัวที่โลกกำลังมุ่งไปสู่การใช้ LLM ในวงกว้าง แบบนี้
ถึงขั้นถามว่า “ราคาหุ้นวันก่อนเปิดตัว AI Overview” มันยังตอบผิดเลย
ยาวกว่าตัวโค้ดเสียอีก และเป็น สปาเกตตีไร้ความหมาย ที่เอาแต่ประกาศตัวแปรซ้ำไปมา จะไม่ใช้อีกแล้ว
คิดว่าไม่ควรจริงจังกับ A16Z เลย ดูเหมือนเป็น แก๊งต้มตุ๋น มากกว่า
ถ้าบล็อกโพสต์นี้ จบกลางประโยค ไปเลยคงจะเท่มาก
งานอื่น ๆ ของเขาก็แสดงให้เห็นถึง โลกภายในที่สับสนอลหม่าน ของมนุษย์ แต่ไม่มีตอนจบหรือบทสรุป
อ่านไปกว่า 2000 หน้าแล้วก็ยังได้ข้อสรุปว่า “ไม่แนะนำ” อยู่ดี
อยากจะบอก Neal Stephenson ว่า “ขอบคุณที่อย่างน้อยก็จบด้วยประโยคที่สมบูรณ์”
หนังสือของเขาให้ความรู้สึกว่า จบเร็วเกินไปหรือช้าเกินไปเสมอ จนแม้พล็อตจะน่าสนใจก็ยังไม่ค่อยอยากหยิบมาอ่าน
ทำให้นึกถึงอัตชีวประวัติของ Werner Herzog
ในคำนำเขาบอกว่า “ชีวิตอาจจบลงเพราะกระสุนของมือปืนแม่นปืนก็ได้” และประกาศว่าจะใช้มันเป็น กลวิธีจบหนังสือแบบฉับพลัน
แล้วเขาก็ทำแบบนั้นจริง ๆ แต่ต่อด้วยประโยคว่า “นี่แหละคือตอนจบที่ฉันบอกไว้” ซึ่งเป็น มุกหักแบบ Herzog ตามสไตล์
การที่บริษัทยักษ์ใหญ่ออก reading list ช่วงสิ้นปี เป็นข้อความ PR ว่า “พวกเราก็เป็นคนที่มีอารมณ์และรสนิยม”
แต่กรณีนี้แสดงให้เห็นว่ามันเป็นแค่ การจัดฉากเพื่อประชาสัมพันธ์ เท่านั้น
พอเห็นมันจบด้วยประโยคว่า “ความหมายของชีวิตคือจำนวนเต็ม(integer)” ก็รู้สึกทันทีว่านี่เป็น ประโยคที่ AI เขียน แน่ ๆ
ทั้งลิสต์เต็มไปด้วย น้ำเสียงแบบ LLM
เมื่อดูที่มาแล้วก็ไม่น่าแปลกใจ อันที่จริงแค่สมมติฐานแรกว่าเป็นงาน LLM ก็น่าจะปิดคดีได้แล้ว
มีการเสียดสี Stephenson ว่าเป็น “นักเขียนสายดาดาอิสต์ที่ชอบจบ กลางประโยค”
อีกสมมติฐานหนึ่งคืออาจเป็นแค่ จำผิด
อาจจำได้ลาง ๆ ว่าเคยอ่านหนังสือของ Stephenson นานมากแล้วและรู้สึกว่าตอนจบห้วน ๆ เลยเอาไปปนกับหนังสืออีกเล่มที่ “จบกลางประโยค”