เราได้ทำให้ ‘Bullshit’ เป็นระบบอัตโนมัติแล้ว
(cst.cam.ac.uk)- Generative AI อย่าง ChatGPT ทำงานด้วยการคาดเดาและเลียนแบบข้อความบนอินเทอร์เน็ตให้ดูน่าเชื่อ มากกว่าการตรวจสอบตรรกะหรือข้อเท็จจริง จึงถูกวิจารณ์ว่าเป็น การทำ Bullshit ให้เป็นอัตโนมัติ
- คำสรุปของ Rodney Brooks ที่ว่า “แต่งสิ่งที่ฟังดูน่าเชื่อขึ้นมา” สอดคล้องกับบทความ stochastic parrots ของ Emily Bender และ Timnit Gebru รวมถึงการวิเคราะห์โมเดลภาษาขนาดใหญ่ของ Murray Shanahan
- ตามนิยามของ Harry Frankfurt Bullshit ไม่ใช่คำพูดที่โต้แย้งความจริงเหมือนคำโกหก แต่เป็น คำพูดที่ไม่ใส่ใจความจริง ซึ่งเชื่อมโยงกับผลลัพธ์จาก ChatGPT
- Geoff Hinton มองว่าความเสี่ยงของแชตบอตไม่ได้อยู่ที่ซูเปอร์อินเทลลิเจนซ์เท่ากับความสามารถในการสร้าง ข้อความที่โน้มน้าวใจได้แม้ไม่มีสติปัญญา ในปริมาณมาก และกังวลเรื่องการทำให้การโน้มน้าวทางการเมืองเป็นอัตโนมัติ
- สิ่งที่ AI อาจแทนที่ได้ง่ายอาจไม่ใช่งานที่มีคุณค่า แต่เป็น Bullshit Jobs เช่น รายงาน การส่งต่อสาร และการจัดการเรื่องร้องเรียนที่ไร้ความหมาย ดังนั้นจุดเน้นของการกำกับดูแลจึงควรอยู่ที่การผลิตและแพร่กระจาย Bullshit มากกว่าตัว AI เอง
เหตุผลที่ ChatGPT ดูเหมือนเครื่องสร้าง Bullshit
- ChatGPT อิงกับอัลกอริทึมที่เลียนแบบรูปแบบข้อความที่พบในอินเทอร์เน็ต มากกว่าการตรวจสอบ ตรรกะหรือข้อเท็จจริง
- Rodney Brooks สรุป ChatGPT ว่าเป็นระบบที่ “เพียงแต่งสิ่งที่ฟังดูน่าเชื่อขึ้นมา”
- “ความน่าเชื่อ” เชื่อมโยงกับอัลกอริทึมที่เลียนแบบข้อความบนอินเทอร์เน็ต
- “การแต่งขึ้น” ชี้ให้เห็นว่าระบบพึ่งพาความสุ่มของข้อความที่คาดเดา มากกว่าตรรกะหรือข้อเท็จจริง
- บทความ stochastic parrots ของ Emily Bender, Timnit Gebru และผู้ร่วมงาน รวมถึงการอภิปรายของ Murray Shanahan เรื่องโมเดลภาษาขนาดใหญ่ ก็อธิบายหลักการคาดเดาข้อความเดียวกันนี้ในเชิงเทคนิคมากขึ้น
นิยามของ Frankfurt: คำพูดที่ไม่สนใจความจริง
- ใน On Bullshit ของ Harry Frankfurt ผู้พูด Bullshit ไม่ได้ปฏิเสธอำนาจของความจริงเหมือนคนโกหก แต่ ไม่ใส่ใจความจริงเลย
- นิยามนี้สอดคล้องกับการวิเคราะห์ของ Brooks, Bender, Shanahan และ Hinton เกี่ยวกับวิธีทำงานของ ChatGPT
- Frankfurt มองว่า Bullshit เป็น ศัตรูของความจริงที่ใหญ่กว่า คำโกหก
- อย่างน้อยคำโกหกยังตั้งอยู่บนความสัมพันธ์กับความจริง
- Bullshit หลีกเลี่ยงได้ยากเมื่อคนพูดจำเป็นต้องพูด แม้อยู่ในสถานการณ์ที่ไม่รู้ว่าตัวเองกำลังพูดอะไร
ความเสี่ยงทางการเมืองจากข้อความที่โน้มน้าวใจได้
- Geoff Hinton มองว่าความเสี่ยงหลักของแชตบอตไม่ได้อยู่ที่ ซูเปอร์อินเทลลิเจนซ์เอง แต่อยู่ที่ความสามารถในการสร้างข้อความที่โน้มน้าวใจสูงมากได้โดยไม่ต้องมีสติปัญญา
- ความกังวลนี้เชื่อมโยงกับการโน้มน้าวทางการเมืองแบบ Donald Trump และ Boris Johnson
- ในโลกที่หลักฐานและตรรกะไม่ได้รับการเคารพในการถกเถียงสาธารณะ ระบบที่ทำงานโดยไม่มีหลักฐานหรือตรรกะอาจเลียนแบบและแทนที่ผู้นำการเมืองที่เลวร้ายด้วย ข้อความที่โน้มน้าวใจได้เหนือมนุษย์
Bullshit Jobs และระบบอัตโนมัติด้วย AI
- Bullshit Jobs ของ David Graeber เชื่อมโยงกับอนาคต AI ที่ Elon Musk บอกนายกรัฐมนตรีอังกฤษว่า “จะไม่มีใครจำเป็นต้องทำงาน”
- Graeber วิเคราะห์ว่าแรงงานในอังกฤษ มากกว่า 30% เชื่อว่างานของตนไม่ได้สร้างคุณค่าใด ๆ ให้สังคม
- งานเหล่านี้รวมถึงการเขียนรายงานที่ไร้ความหมาย การส่งต่อข้อความระหว่างผู้คน และการรับฟังข้อร้องเรียนที่แก้ไขไม่ได้
- ทุกส่วนของงานเหล่านี้ ChatGPT สามารถทำได้อย่างง่ายดาย
- การศึกษาระดับมหาวิทยาลัยบางส่วนอาจฝึกคนรุ่นใหม่ให้ยอมจำนนต่อกระบวนการราชการ และทำให้พวกเขาเขียนข้อความยาว ๆ ที่แทบไม่มีใครอ่าน
- ในการศึกษาที่ผลิตบุคคลแบบ Boris Johnson ความคล่องแคล่วทางภาษาและการโต้แย้งที่น่าสนุกอาจได้รับรางวัลสูงกว่าความใส่ใจอย่างละเอียดต่อความจริง
ข้อมูลฝึกและจุดเน้นของการกำกับดูแล
- ระบบ AI อย่าง ChatGPT ถูกฝึกด้วย คลัง Bullshit ขนาดใหญ่ เช่น Twitter, Facebook, Reddit รวมถึงข้อมูลที่มีข้อเท็จจริงจริงปะปนอยู่ เช่น Wikipedia และงานเขียนของนักเขียนมืออาชีพ
- ภายใน ChatGPT ไม่มีอัลกอริทึมที่ตรวจสอบว่าส่วนใดเป็นความจริง
- เช่นเดียวกับที่ Twitter ส่งเสริม Bullshit ของนักการเมืองที่ไม่สนใจจริงหรือเท็จ บันทึกที่พวกเขาทิ้งไว้อาจถูกนำไปใช้ฝึกเครื่องสร้าง Bullshit อัตโนมัติ
- สิ่งที่ควรถูกกำกับดูแลไม่ใช่ตัว AI เอง แต่คือ Bullshit
- หากต้องการแยกแยะงานที่มีคุณค่าออกจากงานที่เรายินดีให้หายไป เราจำเป็นต้องมีการประชุมที่จัดการกับ Bullshit มากกว่าการประชุมสุดยอด AI
อ่านเพิ่มเติม
- Designing Alternatives to AI มีกำหนดเผยแพร่โดย MIT Press ในปี 2024 และมี ตัวอย่างให้อ่านออนไลน์ฟรี
- Talking About Large Language Models ของ Murray Shanahan ดูได้ที่ arXiv:2212.03551
- บทความที่เกี่ยวข้องกับ Rodney Brooks เผยแพร่ใน IEEE Spectrum หัวข้อ “Just Calm Down About GPT-4 Already”
1 ความคิดเห็น
ความเห็นจาก Hacker News
ฉันคิดว่าบทความนี้ถูกต้องในหลายแง่มุม LLM ดูเหมือนจะทำงานตามหลักว่า “แบบนี้จะฟังดูเหมือนคำตอบที่ถูกไหม” ไม่ใช่ “มันทำงานแบบนี้ ดังนั้นคำตอบที่สมเหตุสมผลสำหรับคำถามคือแบบนี้”
แต่ก็ต้องยอมรับด้วยว่า ณ จุดหนึ่ง LLM ก็สร้าง คำตอบที่ดี ได้จริง เช่น เวลาขอ code snippet แล้วมันตอบได้ถูกต้อง คำตอบที่ผ่านการทดสอบแบบ smell test อาจบังเอิญเป็นคำตอบที่ดี แต่ถึงอย่างไรก็ยังเป็นคำตอบที่ดีอยู่ดี
ประเด็นสำคัญคือ ถ้าจะรู้ว่า LLM ตอบถูกไหม ฉันก็ต้องรู้อยู่แล้วว่าตัวเองกำลังทำอะไรอยู่ ถ้าฉันซึ่งไม่ใช่นักประวัติศาสตร์ให้ cGPT เขียนเรียงความเรื่องสาเหตุของสงครามโลกครั้งที่ 1 มันอาจฟังดูน่าเชื่อถือ แต่ฉันไม่รู้ว่ามันพูดถึงประเด็นที่นักประวัติศาสตร์ตัวจริงจะมองว่าสำคัญหรือไม่ มันแค่ให้ คำตอบทั่ว ๆ ไป ที่คนทั่วไปซึ่งอ่านมาบ้างเล็กน้อยอาจคิดว่าเป็นคำตอบที่ถูกต้องเท่านั้น
คนส่วนใหญ่มักเป็นผู้เชี่ยวชาญแค่ในสาขาเดียว จึงไม่มีทางป้องกันไม่ให้ LLM หลอกเราได้ในทุกสาขาที่เราไม่รู้ ดังนั้นเวลาใช้นอกขอบเขตความเชี่ยวชาญของตัวเองต้องระวัง
ในระยะปัจจุบัน LLM คือ เครื่องมือทางลัดสำหรับผู้เชี่ยวชาญ ฉันพอจะรู้ได้ว่า code snippet ในขอบเขตงานของฉันถูกหรือผิด แต่คนที่ไม่ได้ทำงานในสาขานั้นอาจถูกหลอกได้
LLM เก่งมากในการสร้างสิ่งที่ดูเหมือนภาษาที่สอดคล้องกัน เช่น ชนิดของคำไปอยู่ในตำแหน่งที่ควรคาดหวังในประโยค ปัญหาคือการสร้างแบบจำลองภาษากับการสร้างแบบจำลองความรู้นั้นใกล้ชิดกันมาก จนผู้คนเข้าใจผิดว่าส่วนที่ดูเหมือนการจำลองความรู้ซึ่งติดมาด้วยโดยบังเอิญนั้นเป็นอะไรที่ลึกซึ้งกว่านั้น
แต่ตามธรรมเนียมแล้ว มูลค่าของ อัลกอริทึมเรียงลำดับ 50% ไม่ใช่ 50% ของการเรียงลำดับที่ถูกต้อง แต่คือ 0 เพราะการเรียงลำดับมักเป็นส่วนหนึ่งของระบบที่ใหญ่กว่า และระบบนั้นต้องการให้การเรียงลำดับทำงานถูกต้อง 100%
ตลอดมามีงานด้าน “machine learning” บางประเภทที่แค่ถูก 80% ก็ถือว่าประสบความสำเร็จแล้ว สิ่งที่น่าสนใจเกี่ยวกับ LLM คือ ในปัญหา machine learning บางอย่างมันยกระดับเกณฑ์ขึ้นเป็น 90% แต่ในงานอื่นที่เดิมทีอัลกอริทึมทำได้ 100% มันกลับลดมาตรฐานลง
ฉันเคยอ่านบทคัดย่อของงานวิจัยที่เปรียบเทียบประสิทธิภาพของคนที่ใช้ซอฟต์แวร์หมากรุกได้กับคนที่ใช้ไม่ได้ ปัจจัยที่ทำนายความสำเร็จได้ดีที่สุดไม่ใช่ฝีมือหมากรุกล้วน ๆ แต่คือ ความสามารถในการใช้ซอฟต์แวร์อย่างมีประสิทธิภาพ
อีกด้านหนึ่งที่ฉันไม่แน่ใจเรื่องงานวิจัยที่เปิดเผยต่อสาธารณะ แต่มีหลักฐานเชิงประสบการณ์มาก คือ algorithmic trading บริษัทที่ประสบความสำเร็จแทบทั้งหมดมักมีคนคอยเฝ้าดูการทำงานของอัลกอริทึมเสมอ เมื่ออัลกอริทึมเคลื่อนไหวแปลก ๆ หรือเงื่อนไขไม่ตรง คนก็จะสังเกตเห็นแล้วปรับพารามิเตอร์ หรือถ้าดูเหมือนมันเพี้ยนไปหมดแล้วก็ปิดมันได้ ตรงไปตรงมาเลย ส่วนหนึ่งของการกำกับดูแลแบบนี้น่าจะเป็นผลจากเหตุการณ์ Knight Capital
ประเด็นคือ ฉันเห็นด้วยว่าในตอนนี้ LLM ยังเป็นเครื่องมือสำหรับคนที่มีประสบการณ์ในสาขานั้น แต่ถึงอย่างนั้นมันก็ยังเป็นความก้าวหน้าที่ใหญ่พอสมควร เหมือนที่กองทุนเฮดจ์ฟันด์เชิงควอนต์ระดับท็อปเอาชนะกองทุนที่บริหารโดยคนได้อย่างสม่ำเสมอ คนฉลาดที่ใช้เครื่องมือนี้เป็นก็จะนำหน้าไปได้ กุญแจสำคัญคือการเรียนรู้ว่ามันเก่งด้านไหน แย่ด้านไหน และ จะตรวจสอบผลลัพธ์อย่างไร
เวลาต้องหาความรู้ กระบวนการค้นหาด้วยตัวเองก็ยังเร็วกว่าการคุยกับคอมพิวเตอร์ ความเชี่ยวชาญที่แท้จริงรวมถึงความสามารถในการชำนาญและทำให้กระบวนการค้นหานั้นกระชับขึ้นด้วย
ในทางกลับกัน มันมักลำบากเมื่อต้องสร้างสิ่งที่ไม่เคยเห็นมาก่อน หรือไม่ใช่แค่รูปแบบดัดแปลงที่ใกล้เคียง
ถ้าอย่างนั้นเป็นความจริง ก็สงสัยว่าทำไมเมื่อวาน ChatGPT 3.5 ถึงใช้เวลาแค่ 10 วินาทีในการหาข้อเท็จจริงที่ obscure มากเกี่ยวกับประวัติศาสตร์ศตวรรษที่ 18 ในขณะที่ค้นหาใน Google เป็นชั่วโมงก็ยังไม่เจอ
ตอนแรก ChatGPT ตอบผิดเพราะคำถามของฉันยังไม่แม่นพอ แต่พออธิบายให้ชัดขึ้นอีกนิด มันก็ให้คำตอบที่ดูเหมือนจะถูกต้อง และหลังจากค้นเพิ่มกับตรวจสอบอีก 1–2 นาที ฉันก็มั่นใจ 100% ว่าคำตอบนั้นถูกจริง
ข้ออ้างที่ว่า “ระบบ AI อย่าง ChatGPT เรียนรู้จากทั้งคลังคำพูดไร้สาระขนาดมหึมาอย่าง Twitter, Facebook, Reddit และข้อเท็จจริงจริงจากข้อความที่ดึงมาจาก Wikipedia กับนักเขียนมืออาชีพ แต่ไม่มีอัลกอริทึมที่ตรวจสอบได้ว่าส่วนไหนจริง ผลลัพธ์จึงเป็นเรื่องไร้สาระล้วนๆ” ก็ดูแปลกเหมือนกัน
นักปรัชญา นักคณิตศาสตร์ นักวิทยาศาสตร์ และนักเขียนนิยาย ก็เรียนรู้จากทั้งข้อเท็จจริงจริงและคลังคำพูดไร้สาระขนาดมหึมาเช่นกัน มีทั้งงานที่ผู้อื่นวางรากฐานไว้ การศึกษาในโรงเรียน และการทดลอง แต่ก็มีทั้งประสบการณ์ในชีวิตประจำวันที่เรียกว่าวิทยาศาสตร์ไม่ได้ บทสนทนาเรื่อยเปื่อยคล้ายใน Twitter การโฆษณาชวนเชื่อ และคำโกหก ถ้าอย่างนั้นผลลัพธ์ของพวกเขาก็เป็นเรื่องไร้สาระด้วย และต่อไปก็เท่ากับว่าทุกสิ่งที่มนุษย์สร้างขึ้นล้วนเป็นเรื่องไร้สาระ
พวกเขาอาจไม่รู้เลยว่าต้องปรับคำถามและค้นคว้าเพิ่ม ถ้าจะเอา GPT ไปใช้ในระบบอัตโนมัติ ระบบนั้นจะรู้ได้อย่างไรว่าสิ่งไหนผิดสิ่งไหนถูก?
ดูเหมือนจะไม่ค่อยมีข้อถกเถียงว่า ChatGPT และโมเดลคล้ายกันเก่งที่สุดกับงานแบบนี้ คือการทำหน้าที่แทน Google Search
การประเมินสุดท้ายคือ ระหว่างการซื้อข้อมูลโดยตรงซึ่งอาจถูกกว่า กับการใช้ AI ช่วยบีบพื้นที่การค้นหา อะไรคุ้มกว่ากัน ถ้าตั้งต้นว่าต้องมีการตรวจสอบ ฉันคิดว่าอย่างหลังคุ้มกว่า
ในทางกลับกัน ใน Wyrd Sisters ของ Terry Pratchett มีประโยคหนึ่งว่า “สิ่งที่พยายามทำให้ดูเหมือนเป็นสิ่งหนึ่ง มักจะดูเป็นสิ่งนั้นยิ่งกว่าสิ่งนั้นเองเสียอีก เป็นข้อเท็จจริงที่รู้กันดี แต่ฉันไม่ชอบสนับสนุนมัน”
ดังนั้น LLM จึงดีกว่าคำวิจารณ์ที่ลดทอนมันว่าเป็นเรื่องไร้สาระหรือเป็น probabilistic parrot มาก แต่ในขณะเดียวกันก็ยังไม่ดีเท่าผู้เชี่ยวชาญเฉพาะทาง
ผมคิดว่า LLM ทำให้เราเห็นว่า อย่างน้อยมนุษย์เรามีวิธีคิดอยู่สองแบบ
แบบหนึ่งคล้ายวิธีทำงานของ LLM และโดยเนื้อแท้แล้วคือการทำนายโทเค็นถัดไป ลองนึกถึงสภาวะจิตตอนที่คุณจมอยู่กับบทสนทนาอย่างลึกซึ้ง มันไม่ใช่การกระทำที่มีสติจริงๆ และบางครั้งก็ทำให้ตัวเองยังแปลกใจได้ ถ้าเป็นเด็กเล็กหรืออยู่ในสภาวะที่ยังไม่โตพอ คุณอาจแต่งอะไรพูดไปเรื่อยในตอนนั้นโดยไม่ทันรู้ตัว
ทีนี้ลองนึกถึงเวลาที่คุณต้องแก้ปัญหายากจริงๆ จะต่างออกไป มันเป็นการกระทำที่มีสติอย่างมาก คุณย้ายความสนใจไปมา ใช้เหตุผลว่าทุกอย่างเชื่อมกันอย่างไร และต้องเปลี่ยนอะไรปัญหาจึงจะคลี่คลาย ตอนที่คุณสร้างแบบจำลองของปัญหาในหัว ก็มีความเป็นไปได้สูงว่าคุณไม่ได้ใช้ภาษาเลย
LLM กำลังทำอย่างแรก และแม้ในระยะเริ่มต้นนี้มันก็ทำได้ดีมาก สิ่งที่น่าทึ่งคือวิธีแบบนี้ไปได้ไกลแค่ไหน หากเข้าสู่โหมดสนทนาด้วยความรู้ระดับเหนือมนุษย์ มันก็สามารถแก้ปัญหาที่ยากพอสมควรได้จริง
ผมคิดว่านี่ก็สอดคล้องกับประสบการณ์ของเราเอง ในสาขาที่เรารู้ลึก บางครั้งเราก็พบว่าตัวเองกำลังแก้ปัญหาอยู่เพียงแค่จากการร้อยเรียงประโยค
โครงสร้างความรู้ที่เราสร้างขึ้นนั้นเป็นเชิงสัญลักษณ์ สัญลักษณ์แทนนามธรรม หรือก็คือคลาส และรวมถึงความสัมพันธ์ระหว่างสัญลักษณ์ด้วย ความคิดสร้างสรรค์ของมนุษย์อยู่ที่การสร้างสัญลักษณ์ใหม่ หรือสร้างความสัมพันธ์ใหม่ระหว่างสัญลักษณ์เดิม จากข้อมูลการรับรู้ใหม่ๆ ซึ่งเป็นกระบวนการแบบอุปนัยเชิงอธิบาย โครงสร้างความรู้แบบนี้ทรงพลังเพราะทำให้เราสร้างหอคอยมหึมาบนฐานที่มั่นคงได้
คำพูดที่ว่าบางครั้งเราแก้ปัญหาได้เพียงแค่ร้อยเรียงประโยคในเรื่องที่รู้ลึก หมายความว่าในเรื่องนั้นมีความชัดเจนอยู่แล้ว จนกระแสความคิดสอดคล้องกับโครงสร้างความรู้ กล่าวอีกอย่างคือเข้าใจมันจริงๆ แต่จากประสบการณ์ของผม คนที่อยู่ในขอบเขตความสามารถของตัวเองอย่างเคร่งครัดนั้นมีน้อยมาก ส่วนใหญ่จะพูดไปถึงเรื่องที่ไม่มีโครงสร้างความรู้อยู่ด้วย และคนที่มีความตระหนักรู้พอจะรู้ว่าตัวเองมีโครงสร้างความรู้จริงๆ ในเรื่องไหน หรือก็คือรู้ว่าตัวเองไม่รู้อะไร ก็ยิ่งหายาก
LLM ก็คือ rubber duck ที่ตอบกลับได้ ไม่ว่าจะในทางดีหรือร้าย
การตีความที่พบบ่อยคือ คนส่วนใหญ่คิดด้วยวิธีแบบแรกเท่านั้น
การตีความแบบนี้ชักน่าเบื่อแล้ว LLM เป็นนกแก้วนกขุนทองจริง แต่เป็นนกแก้วนกขุนทองที่เลียนแบบภาษามนุษย์ และภาษามนุษย์ก็ดูเหมือนจะเข้ารหัสความสามารถในการให้เหตุผลของเราไว้ในโครงสร้างนั้นเอง ดังนั้นถ้าเลียนแบบภาษาได้ดีพอ ก็จะเริ่มเลียนแบบความสามารถในการให้เหตุผลได้ด้วย
ผมว่าทุกคนน่าจะก้าวข้ามเรื่องที่ LLM ไม่มีความจำที่แม่นยำมากไปได้แล้ว ปัญหานี้ถึงจะไม่ทั้งหมดก็ส่วนใหญ่แก้ได้ด้วยการใส่ข้อมูลที่อยากถามลงไปในพรอมป์ต์เองแบบ Bing และ ChatGPT ก็เก่งเรื่องการสรุปมากกว่าการเรียกคืนข้อเท็จจริงอย่างแม่นยำ
แล้วในกรณีส่วนใหญ่ นั่นก็ไม่ใช่ประเด็นสำคัญ เวลาใช้ ChatGPT เพื่อเรียนรู้อะไรบางอย่างหรือแก้ปัญหา มันเป็นจุดเริ่มต้น ไม่ใช่บทสรุป ถ้าทุกคนเข้าใจแบบนั้นก็ไม่มีปัญหา ผมยังไม่เคยเห็นใครมองผลลัพธ์ว่าเป็นข้อเท็จจริง 100% และบริษัท AI เองก็ไม่ได้อ้างแบบนั้น
มีคนที่มองผลลัพธ์ว่าเป็นข้อเท็จจริง 100% อยู่จริง
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
ถ้าใส่เรื่องเหลวไหลเข้าไป เครื่องก็จะคายเรื่องเหลวไหลออกมา หลายกรณีต้องป้อนข้อเท็จจริงเข้าไปก่อน และสิ่งอย่าง RAG ก็คือการทำเรื่องนี้ให้เป็นอัตโนมัติ
เพราะแบบนี้เอง ChatGPT จึงดูเหมือนกำลังขยายไปทาง RAG อย่างจริงจัง เพราะมันสอดคล้องกับวิธีที่ผู้ใช้คาดหวังให้เครื่องมือนี้ทำงานมากกว่า
คนที่คิดว่าโลกขับเคลื่อนด้วยข้อเท็จจริงจะเข้าใจ LLM ได้ยาก วิธีหาคำตอบของปัญหาด้วย ChatGPT ก็เหมือนตอนทำกับมนุษย์ คือหาผ่านการสนทนา
สำหรับผม ChatGPT ปฏิวัติเวิร์กโฟลว์ไปเลย มันทั้งช่วยเขียนโค้ดที่ทำสิ่งที่ต้องการ และช่วยจัดกรอบปัญหาให้อยู่ในรูปที่แก้ได้จริง
เท่าที่ใช้มา โมเดล yi ก็ค่อนข้างโอเค และน่าจะมีโมเดลใหม่ที่ดีกว่าอีกสองตัวออกมาในอีก 2 สัปดาห์ เว้นแต่ว่า Altman จะหาทางรู้ก่อนว่าต้องติดสินบนนักการเมืองคนไหนหนักสุด กระแสนี้ก็คงไปต่อ
แต่ ChatGPT ฝึกมาจาก Reddit กับ Twitter
ดูเหมือนผู้เขียนจะพลาดเรื่องนัยสำคัญไปพอสมควร มันแต่งเรื่องเหลวไหลขึ้นมาบ้างก็จริง แต่ไม่ได้บ่อยนัก และช่วยประหยัดเวลาได้มหาศาล แน่นอนว่าบางทีก็พาออกนอกทางหรือให้คำตอบที่ผิดแบบสิ้นเชิง
จะจัดการกับมันยังไงก็ขึ้นอยู่กับผู้ใช้ คุณอาจพยายามใช้ประโยชน์จากผลลัพธ์ที่ได้ หรือตั้งเครื่องมือตรวจสอบที่ตรวจได้ง่ายเพื่อเพิ่มผลิตภาพ หรือจะเอาหัวปักทรายแล้วบอกว่ามันผิดหมดจึงไม่สนใจก็ได้
ทั้งสองแบบก็เป็นแนวทางที่ใช้ได้
AI ไม่ได้สร้าง “เรื่องเหลวไหลเป็นครั้งคราว” แต่มันสร้างเรื่องเหลวไหลอยู่ตลอด เวลาใดที่ผลลัพธ์ออกมาถูกต้อง ก็เป็นเพราะตัวคลังข้อมูลเริ่มต้นมันถูกต้องเอง แต่สำหรับ AI เหมือนกับพวกนักปลุกปั่น นั่นไม่สำคัญเลย ขอแค่ฟังดูน่าเชื่อก็พอ
ถ้ามัน “ง่าย” ที่จะตรวจสอบสิ่งที่ AI พูด ก็ควรจะ “ง่าย” เหมือนกันที่จะสอนให้ AI ตรวจสอบก่อนพูด และถ้าเป็นแบบนั้น คำวิจารณ์ว่า AI เป็นเครื่องผลิตเรื่องเหลวไหลก็คงถูกหักล้างไปเอง ภัยคุกคามที่แท้จริงคือ AI สามารถสร้างเรื่องเหลวไหลที่ตรวจสอบได้ยาก และทำได้เร็วในระดับที่แม้แต่ Gish gallop แบบมืออาชีพยังต้องอาย
ในเศรษฐกิจของเรื่องเหลวไหล เช่นบริบทที่มีข้าราชการเขียนรายงานที่ไม่มีใครอ่าน และเหตุผลที่เขียนก็เพื่อพองจำนวนผู้จัดการให้เงินเดือนผู้จัดการสูงขึ้น แค่นี้ก็เพียงพอแล้ว
นี่เป็นอีกเรื่องหนึ่งต่างหากจากกรณีที่ผู้ใช้ตรวจผลลัพธ์แล้วเลือกสิ่งที่มีประโยชน์ด้วยวิจารณญาณของผู้เชี่ยวชาญ หรือแทนที่จะโยนข้อความใส่ GUI แบบพื้นฐานอย่างไร้เดียงสา ก็ปรับแต่งการใช้เครื่องมือผ่านการเรียก API
จะบอกว่า “ภาษาเป็นเครื่องผลิตเรื่องเหลวไหล” ก็ได้ไม่ใช่หรือ? ภาษาส่วนใหญ่ที่เราเจอ ไม่ว่าจะมนุษย์สร้างหรือเครื่องสร้าง ล้วนชวนให้กังขาอย่างยิ่ง เป็นสิ่งที่ Nietzsche เรียกว่า “กองทัพที่เคลื่อนไหวของอุปมา อุปลักษณ์นามนัย และบุคลาธิษฐาน”
และนี่ก็เป็นสิ่งที่ทำให้ภาษาประสบความสำเร็จด้วย เพราะมันเป็นอิสระจากข้อจำกัดที่ว่าต้อง “จริง” LLM แค่ใช้คุณสมบัตินี้ให้เป็นประโยชน์ แต่มันไม่ใช่ต้นตอ
เมื่อก่อนผมเคยคิดเหมือนบทความนี้เป๊ะ แต่ตอนนี้ไม่แน่ใจแล้วจริง ๆ
โค้ดที่รันได้และใช้งานได้จริง คือโค้ดที่ทำสิ่งที่คุณขอจริง ๆ นั้น ไม่ใช่ “เรื่องเหลวไหล” เลย
เช่นเดียวกับการค้นหาที่มีการอ้างอิงไปยังแหล่งข้อมูลเฉพาะจากคลังข้อมูลที่ปรับแต่งมาโดยตรง นั่นคือ RAG ก็ไม่ใช่เรื่องเหลวไหล
เพราะฉะนั้น AI ก็เป็นเครื่องผลิตเรื่องเหลวไหลในหลายด้านจริง แต่เราก็เป็นเหมือนกัน และมันก็สามารถถูกใช้ในแบบที่มีประโยชน์และไม่ใช่เรื่องเหลวไหลได้ด้วย
ในโลกที่การปรับให้เหมาะสมสำคัญมาก ช่องว่างระหว่างสิ่งที่ใช้งานได้กับสิ่งที่ถูกต้องนั้นค่อนข้างใหญ่ ไม่ได้เป็นแบบนั้นเสมอไป แต่พูดแบบเข้มงวดแล้ว สิ่งที่ต้องปรับให้เหมาะไม่ใช่แค่มุมมองเชิงอัลกอริทึม ยังมีเรื่องการนำกลับมาใช้ซ้ำ ความง่ายในการทดสอบ และอื่น ๆ ด้วย ซึ่งโค้ดที่ GPT สร้างอาจพลาดจุดเหล่านี้ได้
เมื่อ 9 เดือนก่อนมีวิดีโอที่ดีจากยูทูบเบอร์ชาวฝรั่งเศสคนหนึ่งที่พูดเรื่องนี้ไว้: https://youtu.be/JcFRbecX6bk?feature=shared
ในภาษาฝรั่งเศสมีคำว่า baratineur ซึ่งผมรู้สึกว่าแม่นยำกว่า หมายถึงคนที่พูดในสิ่งที่อีกฝ่ายอยากได้ยิน โดยไม่เกี่ยวว่ามันจะจริงหรือเท็จ
ถ้าทุกคนจำไว้ให้ได้แค่ว่า LLM ถูกออกแบบมาให้สร้าง ผลลัพธ์ที่ดูน่าเชื่อถือ ก็จะประหยัดเวลาได้มาก LLM ไม่ได้ “รู้” อะไรเลย ไม่ได้ “ให้เหตุผล” ไม่ได้ “คิด” และไม่มีความเห็นใดๆ มันแค่รับสิ่งอย่างคำนำหน้าข้อความหรือ seed แล้วสร้างผลลัพธ์บนพื้นฐานของสิ่งที่มนุษย์สร้างขึ้นจริงที่มันใช้เรียนรู้มาเท่านั้น
พอมองแบบนั้น ทุกอย่างก็ชัดเจนขึ้นมาก
ควรเชื่อคำตอบไหม? แน่นอนว่าไม่ใช่ มันแค่สร้างอะไรบางอย่างขึ้นมาเท่านั้น
ใช้ระดมความคิดได้ไหม? ได้แน่นอน คุณสามารถตรวจทานผลลัพธ์แล้วนำไปใช้ต่อหรือใช้เป็นแรงบันดาลใจได้
ใช้สร้างโค้ดที่มีประโยชน์ได้ไหม? ได้แน่นอน แต่ต้องอ่านโค้ดและให้ทั้งเครื่องมือกับคนช่วยตรวจทาน เพื่อยืนยันว่ามันทำงานตามที่ตั้งใจไว้
ควรเอาไปแทนพนักงานไหม? ไม่แน่นอน เครื่องสร้างส่วนต่อท้ายของข้อความ ไม่สามารถจัดการปัญหาที่ซับซ้อนหรือรับผิดชอบต่อการตัดสินใจได้
ข้างในอาจมีแบบจำลองโลกอยู่ หรืออาจไม่มีก็ได้ ใครจะไปรู้ สิ่งที่เรารู้คือ “การทำนายโทเคนถัดไป” เป็นเป้าหมายที่เรียบง่าย แต่การจะให้มันทำงานได้ดีอย่างทุกวันนี้ จำเป็นต้องมีความซับซ้อนมหาศาลอยู่ภายในกล่องดำ