- เป็นงานวิจัย preprint ที่วัด ต้นทุนทางปัญญาของการใช้ LLM ในการเรียนการสอนการเขียนเรียงความ โดยทดลองว่าเครื่องมือ AI ที่ถูกใช้กันอย่างแพร่หลายในด้านการเรียนและการทำงานอาจทำให้ความสามารถในการเรียนรู้อ่อนแอลงหรือไม่
- ผู้เข้าร่วมถูกแบ่งเป็นกลุ่ม LLM, Search Engine และ Brain-only เพื่อเขียนเรียงความ 3 ครั้ง และในครั้งที่ 4 ผู้เข้าร่วมบางส่วนจากกลุ่ม LLM เขียนโดยไม่ใช้เครื่องมือ ขณะที่บางส่วนจากกลุ่ม Brain-only ใช้ LLM
- ครั้งที่ 1~3 มีผู้เข้าร่วม 54 คน และครั้งที่ 4 มี 18 คน จากกลุ่มดังกล่าวเข้าร่วม โดยใช้ EEG, การวิเคราะห์ NLP, การสัมภาษณ์รายเซสชัน, การให้คะแนนโดยครูมนุษย์และ AI judge ที่สร้างขึ้นแยกต่างหากร่วมกัน
- ยิ่งมีการสนับสนุนจากภายนอกมากเท่าไร การเชื่อมต่อของสมองก็ยิ่งต่ำลง โดยกลุ่ม Brain-only แสดงเครือข่ายที่แข็งแกร่งที่สุด กลุ่ม Search Engine อยู่ในระดับกลาง และ การช่วยเหลือด้วย LLM แสดงการเชื่อมโยงโดยรวมที่อ่อนแอที่สุด
- ตลอด 4 เซสชันในช่วง 4 เดือน กลุ่ม LLM มีผลลัพธ์ด้อยกว่ากลุ่ม Brain-only ทั้งในระดับประสาท ภาษา และการให้คะแนน อีกทั้งยังมี ความรู้สึกเป็นเจ้าของ และความสามารถในการอ้างอิงทันทีหลังเขียนต่ำกว่า
ต้นทุนทางปัญญาของ LLM ที่วัดจากการเขียนเรียงความ
- มุ่งเน้นการตรวจสอบ ต้นทุนที่การใช้ LLM ทิ้งไว้ในกระบวนการทางปัญญา เมื่อเขียนเรียงความในสภาพแวดล้อมทางการศึกษา
- LLM ทำให้เกิดประสบการณ์การเรียนรู้แบบเฉพาะบุคคล ฟีดแบ็กทันที และการเข้าถึงทรัพยากรการศึกษาที่กว้างขึ้นได้ แต่ยิ่งใช้อย่างแพร่หลายมากขึ้น ก็อาจทำให้การมีส่วนร่วมกับการคิดเชิงวิพากษ์และกระบวนการวิเคราะห์เชิงลึกลดลง
- การเขียนเรียงความเป็นงานที่ใช้กันทั่วไปในการประเมินความสามารถของนักเรียนในโรงเรียนและการสอบมาตรฐาน และถูกเลือกเพราะเป็นงานซับซ้อนที่ต้องใช้กระบวนการทางปัญญาหลายอย่างพร้อมกัน
- บทความนี้อยู่ในสถานะ preprint, under review
ผู้เข้าร่วมและการออกแบบเซสชัน
- ผู้เข้าร่วมถูกแบ่งเป็นสามกลุ่ม
- กลุ่ม LLM: เขียนเรียงความด้วยเครื่องมือ LLM ที่กำหนด
- กลุ่ม Search Engine: เขียนเรียงความโดยใช้เสิร์ชเอนจิน
- กลุ่ม Brain-only: เขียนเรียงความโดยไม่ใช้เครื่องมือภายนอก
- ในครั้งที่ 1~3 ผู้เข้าร่วมแต่ละคนยังคงอยู่ในเงื่อนไขของกลุ่มเดิม
- ในครั้งที่ 4 เงื่อนไขของผู้เข้าร่วมบางส่วนถูกเปลี่ยน
- LLM-to-Brain: ผู้เข้าร่วมที่ก่อนหน้านี้ใช้ LLM เขียนโดยไม่ใช้เครื่องมือ
- Brain-to-LLM: ผู้เข้าร่วมที่ก่อนหน้านี้เขียนโดยไม่ใช้เครื่องมือใช้ LLM
- ครั้งที่ 1~3 มีผู้เข้าร่วมทั้งหมด 54 คน และครั้งที่ 4 มี 18 คน จากกลุ่มดังกล่าวทำเสร็จ
- ในแต่ละเซสชัน ผู้เข้าร่วมเลือกหนึ่งหัวข้อจากหัวข้อ SAT เพื่อเขียนเรียงความ และในครั้งที่ 1~3 มีตัวเลือก 3 หัวข้อต่อเซสชัน รวมทั้งหมด 9 หัวข้อ
วิธีการวัดผล
- ใช้ EEG ในการวัดกิจกรรมสมอง
- บันทึกกิจกรรมสมองของผู้เข้าร่วมเพื่อประเมินการมีส่วนร่วมทางปัญญาและภาระทางปัญญา
- รวมถึงมีเป้าหมายเพื่อทำความเข้าใจการกระตุ้นทางประสาทระหว่างการเขียนเรียงความให้ลึกขึ้น
- ใช้ การวิเคราะห์ NLP กับข้อความเรียงความ
- Named Entities Recognition(NER)
- n-gram
- ออนโทโลยีของหัวข้อ
- ความคล้ายและระยะห่างบนพื้นฐานของ embedding
- หลังแต่ละเซสชันมีการสัมภาษณ์ผู้เข้าร่วม
- การปฏิบัติตามโครงสร้างเรียงความ
- ความสามารถในการอ้างอิงจากเรียงความ
- ความถูกต้องของการอ้างอิง
- ความรู้สึกเป็นเจ้าของต่อเรียงความ
- ความพึงพอใจ เป็นต้น
- การให้คะแนนใช้ทั้ง ครูมนุษย์ และ AI judge ที่สร้างขึ้นแยกต่างหาก
ผล EEG: ยิ่งมีการสนับสนุนจากภายนอกมาก การเชื่อมต่อของสมองยิ่งต่ำลง
- ทั้งสามกลุ่มแสดง รูปแบบการเชื่อมต่อทางประสาทที่แตกต่างกัน ซึ่งสะท้อนกลยุทธ์ทางปัญญาที่ต่างกัน
- การเชื่อมต่อของสมองลดลงอย่างเป็นระบบตามปริมาณการสนับสนุนจากภายนอก
- กลุ่ม Brain-only: แสดงเครือข่ายที่แข็งแกร่งและกว้างที่สุด
- กลุ่ม Search Engine: แสดงการมีส่วนร่วมในระดับกลาง
- การช่วยเหลือด้วย LLM: การเชื่อมโยงโดยรวมอ่อนแอที่สุด
- ในครั้งที่ 4 ผู้เข้าร่วม LLM-to-Brain แสดงการเชื่อมต่อทางประสาทที่อ่อนแอกว่า และการมีส่วนร่วมของเครือข่าย alpha·beta ต่ำกว่า
- ในทางกลับกัน ผู้เข้าร่วม Brain-to-LLM แสดงการเรียกคืนความจำที่สูงกว่า และการกลับมามีส่วนร่วมอีกครั้งของโหนด occipito-parietal และ prefrontal อย่างกว้างขวาง
- รูปแบบนี้อาจเกี่ยวข้องกับการประมวลผลภาพ และคล้ายกับลักษณะที่สังเกตได้บ่อยในกลุ่ม Search Engine
ลักษณะของเรียงความที่เผยจากการวิเคราะห์ภาษา
- ภายในกลุ่มเดียวกันพบความเป็นเนื้อเดียวกันอย่างสม่ำเสมอใน NER, n-gram และออนโทโลยีของหัวข้อ
- เรียงความของกลุ่ม LLM แสดงลักษณะทางภาษาที่เป็นเนื้อเดียวกันมากกว่าเมื่อเทียบกันภายในกลุ่มเดียวกัน
- กลุ่ม Search Engine มีการใช้ n-gram ในบางหัวข้อที่ดูเหมือนได้รับอิทธิพลจากการปรับให้เหมาะกับการค้นหา
- ตัวอย่าง: ในหัวข้อ PHILANTHROPY พบการเน้นที่ n-gram
homeless
- ตัวอย่าง: ในหัวข้อ PHILANTHROPY พบการเน้นที่ n-gram
- ระยะห่างระหว่างเรียงความของกลุ่ม Brain-only ปรากฏอย่างมีนัยสำคัญและมากกว่ากลุ่ม LLM หรือ Search Engine เสมอ
- ในบางหัวข้อ ความแตกต่างระหว่างกลุ่ม LLM กับกลุ่ม Brain-only แทบอยู่ในระดับตั้งฉากกัน
- ตัวอย่าง: หัวข้อ HAPPINESS, PHILANTHROPY
ความรู้สึกเป็นเจ้าของ ความจำ และความสามารถในการอ้างอิง
- ในการสัมภาษณ์ กลุ่ม LLM มี ความรู้สึกเป็นเจ้าของ ต่อเรียงความของตนต่ำ
- กลุ่ม Search Engine ก็แสดงความรู้สึกเป็นเจ้าของสูงเช่นกัน แต่ต่ำกว่ากลุ่ม Brain-only
- ความสามารถในการอ้างอิงเนื้อหาจากเรียงความของตนเองที่เพิ่งเขียนเมื่อไม่กี่นาทีก่อน ก็ปรากฏต่ำในกลุ่ม LLM
- กลุ่ม Brain-only แสดงความรู้สึกเป็นเจ้าของและความสามารถในการอ้างอิงสูง
- ผู้เข้าร่วม Brain-to-LLM ในครั้งที่ 4 ใช้ LLM แต่แสดงการผสานเนื้อหาที่ดีกว่าในลักษณะที่ผสมกับอิทธิพลจากเซสชัน Brain-only ก่อนหน้า และความรู้สึกเป็นเจ้าของปรากฏแบบแบ่งแยก
ความแตกต่างของการทดลองสลับเงื่อนไขในครั้งที่ 4
- ผู้เข้าร่วม Brain-to-LLM แสดงการเชื่อมต่อทางประสาทสูงขึ้นในเงื่อนไขที่เคยเขียนโดยไม่มี AI มาก่อนแล้วจึงเขียนใหม่ด้วยเครื่องมือ AI
- directed connectivity ในย่าน alpha, beta, theta, delta เพิ่มขึ้นทั่วทั้งเครือข่าย
- ปฏิสัมพันธ์ของเครือข่ายสมองปรากฏกว้างขวางกว่าช่วงครั้งที่ 1~3 ที่เป็น LLM-only ก่อนหน้า
- ผู้เข้าร่วม LLM-to-Brain แสดงความพยายามทางประสาทที่มีการประสานกันน้อยกว่าในเกือบทุกย่าน เมื่อเขียนโดยไม่ใช้เครื่องมือหลังมีประสบการณ์ใช้ LLM มาก่อน
- ยังพบอคติของคำศัพท์เฉพาะแบบ LLM
- ทั้ง AI judge และครูมนุษย์ให้คะแนนสูง แต่ในระยะห่างของการใช้ NER·n-gram กลับไม่โดดเด่นเท่ากลุ่ม·เซสชันอื่น
- เมื่อกลุ่ม Brain-only ใช้ LLM ในครั้งที่ 4 การเชื่อมต่อของสมองในครั้งที่ 4 ไม่ได้ย้อนกลับไปเป็นรูปแบบ Brain-only ครั้งที่ 1 ระดับผู้เริ่มต้น และไม่ได้ไปถึงระดับ Brain-only ครั้งที่ 3
- แสดงสภาวะกึ่งกลางของการมีส่วนร่วมของเครือข่าย
บทสรุปและข้อจำกัด
- การใช้ LLM ส่ง ผลกระทบที่วัดได้ ต่อผู้เข้าร่วม และแม้ประโยชน์ในช่วงต้นจะดูชัดเจน แต่ในเซสชันตลอด 4 เดือน กลุ่ม LLM มีผลลัพธ์ด้อยกว่ากลุ่ม Brain-only ในหลายระดับ
- ผลลัพธ์ที่ต่ำกว่าสังเกตได้ร่วมกันทั้งในการเชื่อมต่อทางประสาท ลักษณะทางภาษา และผลการให้คะแนน
- ในช่วงเวลาที่ผลกระทบของ LLM ต่อการศึกษาในหมู่ประชาชนทั่วไปเพิ่งเริ่มก่อตัว ความเป็นไปได้ที่ความสามารถในการเรียนรู้จะลดลงยังคงเป็นประเด็นสำคัญ
- บทความนี้ตั้งเป้าเป็น แนวทางเบื้องต้น เพื่อทำความเข้าใจผลกระทบเชิงปัญญาและเชิงปฏิบัติของ AI ต่อสภาพแวดล้อมการเรียนรู้
1 ความคิดเห็น
ความคิดเห็นใน Hacker News
แทนที่จะเรียกว่า “การสะสมของหนี้ทางปัญญา” ผมคงเรียกตรง ๆ ว่า ภาวะถดถอยทางปัญญา หรือการสูญเสียความสามารถทางปัญญา
ถ้าไม่ใช้ภาษา ก็ย่อมลืมเป็นธรรมดา และสมองก็ไม่เก็บข้อมูลที่ไม่จำเป็นไว้ มีงานวิจัยเกี่ยวกับการใช้ระบบนำทางของ Google Maps ด้วยว่า “การใช้ GPS เป็นประจำส่งผลเสียต่อความจำเชิงพื้นที่ระหว่างการนำทางด้วยตนเอง” หรือพบว่าผู้ใช้แผนที่มีปริมาณเนื้อเทาลดลง
ใครก็ตามที่เคยสร้างความเชี่ยวชาญในสาขาวิทยาศาสตร์จะรู้ว่า หากจะเข้าใจอะไรสักอย่าง ต้องขบคิดซ้ำ ๆ และสำรวจว่าแต่ละไอเดียเชื่อมโยงกับสิ่งอื่นอย่างไร แค่กวาดตาดูตำราคณิตศาสตร์ไม่ได้ทำให้รู้คณิตศาสตร์ได้ ต้องหยุดแล้วคิด ผมมองว่าวัตถุทางความคิดที่เราจะนำไปใช้คิดในภายหลังนั้นเกิดจาก การกระทำของการคิด นั่นเอง
ต้องเขียนให้มาก การเขียนทำให้สมองจัดโครงสร้างความคิด เปิดทางให้สนทนากับตัวเองอย่างมีโครงสร้าง และช่วยสำรวจเส้นทางหลายแบบได้ การคิดและการไตร่ตรองอย่างเดียวจะไปถึงขีดจำกัดในไม่ช้า แต่การเขียนทำให้สำรวจความคิดได้แทบไม่มีที่สิ้นสุด
ถ้าความคิดเชื่อมโยงกับการเขียนอย่างใกล้ชิดถึงเพียงนี้ และการเขียนอาจเป็นได้ทั้งร้อยแก้ว ภาพวาด สมการ กราฟ แผนภูมิ หรืออะไรก็ตาม ก็น่าสนใจว่าในสถานการณ์ที่ LLM รับหน้าที่การเขียนมากขึ้นเรื่อย ๆ จะส่งผลต่อ ความสามารถทางปัญญา อย่างไร
การให้ LLM เขียนข้อความจำนวนมาก วางโครงสร้าง สร้างข้อโต้แย้งและสื่อภาพประกอบนั้นเย้ายวนมาก พอค่อย ๆ มอบหมายให้มันทำมากขึ้นเรื่อย ๆ สุดท้ายผลงานนั้นก็กลายเป็นสิ่งที่ไม่ใช่ของผมเลย
แต่รายงานนั้นมีชื่อผมอยู่ และผมถูกคาดหวังให้อธิบายและเข้าใจมัน เดิมทีรายงานควรเป็น “ภาพฉาย 2 มิติ” ของ “ความจริงมิติสูง” ที่อยู่ในหัว แต่รายงานที่พ่นออกมาในเวลาเพียงหนึ่งในสิบไม่ใช่แบบนั้น แม้บนกระดาษจะดูสมเหตุสมผล แต่พอต้องอธิบายแนวคิดก็จะติดขัด
สุดท้ายก็รู้ว่าต้องลงมือทำเอง ต้องสร้างแบบจำลองทางความคิด แสดงออก เรียบเรียงใหม่ แล้วเรียบเรียงใหม่อีก ต้องทำด้วยวิธีที่ต่างกันตามกลุ่มผู้อ่านเป้าหมาย
ผมคิดว่า หนี้ทางปัญญา เป็นคำที่เหมาะสมในการอธิบายช่องว่างระหว่างแบบจำลองทางความคิดที่คุณควรต้องสร้างเพื่อเขียนรายงานในยุคก่อน LLM กับแบบจำลองทางความคิดที่แทบไม่ต้องสร้างเลยเมื่อใช้ LLM
ท้ายที่สุดแล้ว ชื่อของผมก็จะอยู่บนรายงานหรือ论文นั้น ในฐานะผู้เขียน ควรคาดหวังอะไรจากผมได้บ้าง? เมื่อเวลาผ่านไป ความคาดหวังนั้นอาจลดลงก็ได้ หากมีคำถามเชิงลึกเกิดขึ้น ผู้คนอาจข้ามผู้เขียนไปพึ่งพาแบบจำลอง “ทางความคิด” ของ LLM แทน แต่แบบจำลองอื่น ๆ อย่าง LLM อาจมี “แบบจำลอง” หรืออัลกอริทึมการพยากรณ์เกี่ยวกับความจริงพื้นฐานและความเป็นจริงที่แตกต่างกัน แบบใดกันที่ทำให้พยากรณ์ได้แม่นยำที่สุด? ตรงนั้นต้องมี ความลึกของความเข้าใจ อยู่ระดับหนึ่ง และถ้าพึ่งพา LLM มากเกินไปในการเขียน ความลึกนั้นก็จะไม่เกิดขึ้น
ในระยะยาว มันอาจนำไปสู่ “ภาวะถดถอยทางปัญญา หรือการสูญเสียความสามารถทางปัญญา” ในระดับประชากรได้จริง แต่ผมยังระมัดระวังที่จะฟันธงเช่นนั้น แท่นพิมพ์ไม่ได้ก่อผลแบบนั้น แม้ชนชั้นนำทางศาสนาในยุคนั้นจะกังวลว่าคนทั่วไปอาจตีความข้อความได้ไม่ถูกต้องก็ตาม
อย่างที่มีคนพูดในเธรดนี้ “การเขียนคือการคิด” ผมเห็นด้วย เพียงแต่ว่าอาจมีบางสิ่งที่ดีกว่าการเขียน ซึ่งเรายังไม่ได้ประดิษฐ์ขึ้นมาก็ได้ การคิดคือการพัฒนาแบบจำลองทางความคิดที่ละเอียดพอจะทำให้ทำนายอนาคตได้ด้วยความน่าจะเป็นสูงกว่าการเดาสุ่ม การอยู่รอดของเราขึ้นอยู่กับสิ่งนั้น และจากมุมมองทฤษฎีสารสนเทศ วิวัฒนาการก็คือสิ่งนั้นเอง [0] “ไม่มีสิ่งใดในชีววิทยาที่มีความหมาย หากปราศจากแสงสว่างของข้อมูล”
[0] https://www.youtube.com/watch?v=4PCHelnFKGc
ผมไม่ได้ทำมานาน 20 ปีแล้ว และค่อนข้างมั่นใจว่าจะไม่มีวันได้ทำอีก
การที่论文ไม่ให้บรรณานุกรมหรือการอ้างอิงเกี่ยวกับคำว่า “หนี้ทางปัญญา” ก็ทำให้ชื่อเรื่องดูแปลก อาจเป็นสิ่งที่เปลี่ยนในนาทีสุดท้ายก็ได้
เป็นงานวิจัยที่น่าสนใจจาก MIT เช่นเดียวกับงานวิจัยทางจิตวิทยาทั้งหมด จำเป็นต้องมีความสงสัยอย่างมีเหตุผลและการตรวจสอบซ้ำอย่างอิสระ แม้จะรู้สึกเหมือนจับงานถ่ายภาพสมองกับการประเมินเชิงจิตมิติมายำรวมกัน แต่ใครจะไม่ชอบภาพประมาณว่า “สมองของคุณเมื่อใช้ LLM เป็นแบบนี้” กันล่ะ
LLM เริ่มให้ความรู้สึกเหมือนเป็นเทคโนโลยีอีกอย่างหนึ่งที่สังคมจะค่อย ๆ สร้าง ภูมิคุ้มกัน ให้ตัวเองได้
ในแวดวงการศึกษา เรื่องนี้เริ่มเกิดขึ้นแล้วด้วยวิธีที่ครูพูดคุยกับนักเรียน สังเกตวิธีที่พวกเขาเรียนรู้ และตรวจสอบกระบวนการที่พวกเขาแสดงทักษะให้เห็น ในภาคธุรกิจก็คงจะตระหนักกันในไม่ช้าว่า การสื่อสารที่มีคุณค่าส่วนใหญ่ต้องถูกสร้างขึ้นโดยผู้คนเอง ในฐานะผู้เขียนสิ่งที่พวกเขาต้องการจะพูด การลงมือเขียนหรือสร้างสรรค์ข้อความเป็นแกนหลักราวสองในสามของการสื่อสารส่วนใหญ่
แน่นอน ก่อนหน้านั้น หากจะสร้างภูมิคุ้มกันต่อผลข้างเคียงได้อย่างแท้จริง เราอาจต้องเจอกับแรงกระแทกครั้งใหญ่จาก ความตื้นเขินทางความคิด เสียก่อน ความรังเกียจ LLM ของผู้เชี่ยวชาญที่มีต่อเหล่าสาวกไร้เดียงสาผู้ศรัทธาใน “ความธรรมดา” ดูเหมือนประสบการณ์ภูมิคุ้มกันระยะแรก: https://fly.io/blog/youre-all-nuts/
ในโปรเจกต์ของผม ทุกครั้งที่ใช้ LLM แบบ “มหภาค” ความคิดของผมจะเสียหายหนักเสมอ การตัดสินใจถูกพรากไป และความพร้อมสำหรับการปรับตัวที่จำเป็นหลังจากนั้นก็แย่ลง สำหรับงานสำคัญ LLM เป็นได้เพียง เครื่องมือเติมช่องว่างระดับจุลภาค อย่างเคร่งครัดเท่านั้น
เรื่องนี้ต่างจากเครื่องคิดเลข มันไม่ได้พรากอัลกอริทึมที่เคยชอบใช้คำนวณด้วยมือไป แต่นี่คือระบบที่แทนที่การคิดด้วยสิ่งที่ไม่ใช่การคิด และในทุกพื้นที่ที่นำไปใช้ มันบั่นทอนความพร้อม ความลึก ความสามารถในการปรับตัว และความรู้สึกเป็นเจ้าของอย่างรุนแรง
ผมเข้าประชุมกับวิศวกรที่เก่งมาก ๆ บ่อยครั้ง แต่หลายครั้งพวกเขาไม่สามารถนำเสนอเหตุผลของตัวเองในแบบที่ทั้งคนสายเทคนิคและไม่ใช่สายเทคนิคตามทันได้ การเขียนและการพูดมีความเป็นศิลปะอยู่ และตอนนี้เมื่อเข้าสู่วัยปลาย 40 ผมเพิ่งเริ่มตระหนักถึงคุณค่าของมันอย่างแท้จริง ภาษาเป็นเครื่องมือที่ทรงพลัง และบางครั้งการเลือกคำเพียงคำเดียวก็อาจทำให้ข้อโต้แย้งอยู่รอดหรือล่มสลายได้
ผมไม่เห็นว่า LLM จะทำอะไรกับสถานการณ์นี้ได้ นอกจากทำให้ภาพรวมแย่ลงมาก
สิ่งที่น่ากลัวไม่ใช่แค่ว่าพวกเขาใช้ ChatGPT เพื่อหลีกเลี่ยงการคิด แต่ยังคิดว่าไม่มีใครจับได้ หรือเชื่อว่าผู้ใหญ่เขาคุยกันแบบนั้นเป็นปกติ
ผมคิดว่าในความเป็นจริงมีการสื่อสารจำนวนมากที่ไม่ได้มีคุณค่าอะไรมากนัก แต่ก็ยังถูกผลิตออกมาอยู่ดี และถ้าไม่มีใครอ่าน การสร้างมันให้เป็นอัตโนมัติก็ไม่เป็นไรไม่ใช่หรือ
แน่นอนว่ายังมีเรื่องสำคัญอีกจำนวนมากที่ต้องทำให้ถูกต้อง
ผมอยู่ในแวดวงวิชาการ ซึ่งตามทฤษฎีแล้วควรเป็นหนึ่งในอาชีพที่ต้องใช้ความคิดมากที่สุด แต่ถึงอย่างนั้น ข้อความที่ผมเขียนมากกว่าครึ่งก็เป็นรายงานต่าง ๆ ข้อเสนอโครงการขอทุนวิจัย แบบคำขอด้านจริยธรรมและการจัดการข้อมูล จดหมายแนะนำ และแบบฟอร์มงานธุรการ สิ่งเหล่านี้ยากจะเรียกว่า “มีคุณค่า” ในความหมายที่ว่าต้องใช้ความคิดที่เป็นประโยชน์ และตราบใดที่ตอบสนองข้อกำหนดโง่ ๆ ได้ ก็ไม่มีใครสนใจเลยว่าข้อความจะฟังดูเป็นตัวผมหรือไม่
สำหรับการใช้งานแบบนี้ LLM ถือเป็นพร และมีแนวโน้มว่าจะช่วยให้ผมคิดได้มากขึ้นด้วยซ้ำ เพราะมันทำให้ผมมีเวลาให้กับงานวิจัยจริงและการสอนแบบพบหน้ามากขึ้น
ผมคิดว่าการถกเถียงเรื่อง หนี้ทางปัญญา ที่พูดถึงตรงนี้ถูกต้อง แต่อาจถึงขั้นอนุรักษ์นิยมเกินไปด้วยซ้ำ
นี่ไม่ใช่แค่ระดับการลืมทักษะอย่างภาษา หรือการสูญเสียความจำเชิงพื้นที่เพราะใช้ GPS แต่อาจเป็นปัญหาที่เส้นทางประสาทซึ่งรับผิดชอบการใช้เหตุผลแบบบูรณาการฝ่อลงอย่างเป็นระบบและอาจย้อนกลับไม่ได้
ความเสี่ยงหลักไม่ใช่ตัว “หนี้” ที่มีนัยว่าสามารถใช้การฝึกฝนมาชำระคืนได้ แต่คือการข้าม จุดพลิกผันทางปัญญา ไปแล้ว เป็นจุดวิกฤตที่ฟังก์ชันบริหารจัดการ การสังเคราะห์ และการให้เหตุผลถูกย้ายไปยังระบบภายนอกอย่าง LLM มากเกินไป จนสมองชีวภาพไม่เพียงตัดแต่งการเชื่อมต่อที่ไม่ได้ใช้ออกตามหลักประสิทธิภาพอันไร้ปรานีเท่านั้น แต่ยังสูญเสียความสามารถเชิงเมตาในการสร้างมันขึ้นมาใหม่ด้วย
ฮาร์ดแวร์เปียกเชิงชีวภาพของเราเป็นระบบ “ไม่ใช้ก็เสียไป” ที่ไม่มี version control เมื่อฟังก์ชันการรับรู้ที่ซับซ้อนฝ่อลง “ซอร์สโค้ด” ก็เสียหาย โครงข่ายประสาทที่พังทลายซึ่งเคยรองรับการคิดอย่างลึกซึ้งและมีโครงสร้างนั้นไม่มี git revert
กระทู้ HN นี้เน้นที่การเขียนเอสเซย์ แต่ถ้าขยายขนาดขึ้นมา เรากำลังทำการทดลองขนาดมหึมาที่ควบคุมไม่ได้ในการจ้างคนนอกทำการรับรู้ร่วมกัน ผลระยะยาวอาจไม่ใช่สังคมของคนที่มีทักษะน้อยลง แต่เป็นสังคมของคนที่ไม่สามารถคิดในเชิงโครงสร้างแบบเดียวกับที่สร้างโลกของเราขึ้นมาได้
ดังนั้นคำถามจึงไม่ใช่ “จะหลีกเลี่ยงหนี้ทางปัญญาได้อย่างไร?” คำถามที่น่ากลัวจริง ๆ คือ “ถ้าภาชนะของจิตใจเชิงชีวภาพถูกปรับให้เหมาะกับความเกียจคร้านอย่างไร้ปรานี และอาจย้อนกลับไม่ได้เช่นนั้น จิตวิญญาณของเราต้องการภาชนะแบบใดกันแน่?”
https://github.com/dmf-archive/dmf-archive.github.io
มันดีสำหรับการถามสิ่งที่ไม่รู้ หรือข้าม “ส่วนที่น่าเบื่อ” ไป โดยเฉพาะอย่างยิ่ง ผมไม่รู้สึกเลยว่าการต้องไล่อ่านหลายหน้าในฟอรัมหรือโซเชียลมีเดียเพื่อหาวิธีแก้ปัญหาเทคนิคที่เข้าใจยาก จะทำให้ผมฉลาดขึ้น ยังไงข้อมูลก็ต้องถูกตรวจสอบและรับอย่างระมัดระวังอยู่ดี
ถ้า StackExchange เป็นไปตามเจตนาเดิม มันคงมีคุณค่ากว่าโมเดลข้อความมาก แต่ในความเป็นจริง ผู้คนไม่สมบูรณ์แบบและมีอคติกับภาระทางปัญญาสารพัด ส่วน LLM จะไม่ปิดคำถามว่า “กว้างเกินไป” ทันทีหลังจากที่คำถามได้รับการโหวตและมีปฏิสัมพันธ์
ในทางกลับกัน ผมยังมองว่า งานเขียนจาก LLM ในหัวข้อที่ผมรู้ดีนั้นด้อยกว่าอย่างมาก เช่น เวลาจะเขียนอีเมล ผมสุดท้ายต้องใช้เวลาพอ ๆ กันในการแก้พรอมป์ให้มันคงทิศทางไว้ หรือไม่ก็เขียนผลลัพธ์ที่ออกมาใหม่เป็นส่วนใหญ่ แทนที่จะมานั่งตรวจแก้และ peer review โมเดลข้อความ ผมเขียนเองตาม flow ของตัวเองดีกว่า
AI คือ สิ่งตรงข้ามกับ Zettelkasten
แทนที่จะลงมือทำงานกับหัวข้ออย่างจริงจังและค่อย ๆ ได้ insight ที่ลึกขึ้น กลับเป็นการวนซ้ำอย่างรวดเร็วแต่ตื้น ๆ อยู่บนคลังเนื้อหาที่ AI สร้างขึ้น
เช่น ผมอยากเข้าใจสถานการณ์ตะวันออกกลางมากขึ้น เลยให้ OpenAI เป็นผู้เขียนร่วม เขียนเอสเสย์ 10 หน้าเกี่ยวกับต้นกำเนิดของ Hamas และ Hizbulah
แต่กลับจำอะไรไม่ได้เลย และที่แย่กว่านั้นคือ สิ่งที่จำได้ก็ไม่รู้ว่าเป็น hallucination ที่ผมแก้ไปแล้วหรือเป็นข้อเท็จจริงจริง ๆ
LLM สามารถเป็นคู่ซ้อมที่ยอดเยี่ยมได้ ถ้าใช้เป็นเครื่องมือช่วยหาข้อผิดพลาด ชี้ช่องโหว่และข้อคลาดเคลื่อน และช่วยค้นคว้าคำถามทั่วไปเกี่ยวกับโลก ไม่ใช่เครื่องมือที่เขียนแทนเรา แน่นอนว่าต้องระมัดระวังและตรวจสอบแหล่งที่มาเสมอ
เราจะได้พัฒนาสัญชาตญาณว่าจะควบคุมโมเดลอย่างไรและลด hallucination อย่างไร แต่ไม่ได้แปลว่าจะสะสมความรู้ที่อธิบายได้อย่างชัดเจน หรือได้คิดอย่างท้าทายมากขึ้น มันใกล้เคียงกับการเรียนรู้ ปฏิกิริยาแบบ muscle memory มากกว่า เช่น เห็นรูปแบบบางอย่างในผลลัพธ์ของ LLM แล้วจะเชื่อถือมากขึ้นหรือไม่ จะลองกลยุทธ์ prompt แบบอื่นหรือไม่ หรือจะล้าง context หรือเปล่า
ต่อให้เรียกสิ่งนี้ว่าเป็นทักษะได้ ก็มีโอกาสสูงที่จะไร้ประโยชน์ในไม่กี่ปีเมื่อโมเดลดีขึ้น มันให้ความรู้สึกไร้อำนาจแบบที่คนงานสายการผลิตน่าจะรู้สึก
ส่วนตัวแล้วผลลัพธ์ไม่น่าประหลาดใจนัก ถ้าผมใช้ AI กับงานเขียนหรืองานแปลของตัวเอง ผมไม่รู้สึกว่าตัวเองจดจ่อทางความคิดกับกระบวนการเขียนหรือแปลเท่ากับตอนทำทั้งหมดด้วยตัวเอง
แต่ผมก็พบว่าถ้าใช้ AI ในอีกแบบหนึ่ง มันก็ทำให้จดจ่อทางความคิดได้มากในตัวมันเอง ช่วง 2 สัปดาห์ที่ผ่านมา ผมกำลังทดลองว่าใช้ Claude Code ทำ brainstorming, research และการเขียนเอสเสย์กับงานวิจัยให้เป็นอัตโนมัติได้สมบูรณ์แค่ไหน ผมจดจ่อลึกพอ ๆ กับตอนเขียนหรือแปลเอง แต่รูปแบบของการจดจ่อไม่เหมือนกัน
ผลการทดลองจนถึงตอนนี้ค่อนข้างดี กล่าวคือ แม้จะรู้ว่าเอสเสย์และเปเปอร์ที่ได้เขียนโดย AI agent เวลาอ่านก็ยังมักรู้สึกว่าน่าสนใจ แน่นอนว่าไม่มีแผนจะตีพิมพ์หรือแชร์
ผมสงสัยว่าตัวเองจะกลายเป็นสมาชิกของกลุ่มที่หายากขึ้นเรื่อย ๆ คือคนที่ยังทำอะไรบางอย่างได้จริง ขณะที่คนอื่น ๆ ค่อย ๆ ไร้ความสามารถลงหรือเปล่า
ประโยคที่ว่า “ผู้เข้าร่วมกลุ่ม LLM มีผลงานต่ำกว่ากลุ่ม Brain-only ในทุกระดับ ทั้งกิจกรรมสมอง ภาษา และคะแนน” นั้นไม่น่าประหลาดใจ แต่ชวนหดหู่
เมื่อมนุษย์มีหน้าที่แค่ตรวจผลลัพธ์แล้วประทับตราอนุมัติ โดยทั่วไปมักทำได้แย่มาก
ผมคิดมาพักหนึ่งแล้วว่า ถ้าจะสร้าง workflow แบบ augmentation อย่างแท้จริง วิธีการมีส่วนร่วมคือหัวใจสำคัญ ให้ตรวจโค้ดที่ LLM เขียนเหรอ? ไม่ค่อยดีนัก แต่ถ้า LLM คอยดูการเปลี่ยนแปลงของผมแล้วให้ feedback ล่ะ? นั่นเป็นคนละเรื่องเลย อาจยากและอาจไม่ค่อยได้รับความนิยม แต่ถ้าเราไม่หาทางอยู่ในที่นั่งคนขับต่อไป ก็ดูเหมือนอนาคตจะค่อนข้างมืดมน
[1]: https://en.m.wikipedia.org/wiki/Ironies_of_Automation
https://dune.fandom.com/wiki/Butlerian_Jihad
ตอนนี้ผมใช้ AI เขียนโค้ดเป็นส่วนใหญ่ ผลข้างเคียงที่ค่อนข้างคาดไม่ถึงคือ เหนื่อยน้อยลงมากและจดจ่อได้นานขึ้น
มันช่วยให้ทำงานสำเร็จได้แม้มีสิ่งรบกวนอื่น ๆ โดยเนื้อแท้แล้ว เมื่อโอนความจุทางความคิดบางส่วนให้ AI ความจุในส่วนอื่นก็ว่างขึ้น
เมื่อก่อน ข้อผิดพลาดที่ไม่คาดคิดหรือการต้องเช็กเอกสารทำหน้าที่เหมือน “ลูกระนาดชะลอความเร็ว” ให้ได้พักหายใจ และโดยปกติผมจะสังเกตได้ตอนนั้นว่าเหนื่อยแค่ไหนแล้วหยุดพักสักครู่
พอใช้ AI ลูกระนาดเหล่านั้นยังมีอยู่ แต่บางครั้งมันให้แรงส่งเพิ่มขึ้นเล็กน้อย จนผมไม่ได้ชะลอพอที่จะย้อนกลับมาดูว่าตัวเองเหนื่อยแค่ไหน
AI ไม่จำเป็นต้องตอบถูกด้วยซ้ำ แค่การอ่านข้อเสนอแนะที่ปรับให้เข้ากับสถานการณ์ปัจจุบัน ก็อาจจุดชนวนกระแสความคิดของผมจนยากจะดึงกลับมาได้
คุณอาจเดินไป Walmart นอกเมืองแล้วถือของกลับมาก็ได้ แต่ถ้าใช้รถยนต์จะเร็วกว่าและเหนื่อยน้อยกว่ามาก แล้วคุณก็จะมีเวลาคุณภาพมากขึ้นสำหรับสิ่งที่ชอบทำ
สมัยที่ GAN กำลังฮิต ผมเคยฝึกโมเดล generator-discriminator เพื่อสร้างภาพ
พอคิดเยอะ ๆ ก็ได้ตระหนักว่าการตัดสินแยกแยะนั้นง่ายกว่าการสร้างมาก
เช่น ผมแยก UI ที่ดีออกจาก UI ที่แย่ได้ แต่ต่อให้ขอร้องให้ช่วยชีวิต ผมก็สร้าง UI ที่ดีไม่ได้ ผมรู้ได้ทันทีว่าหนังเรื่องหนึ่งดีหรือไม่ แต่การเขียนเรื่องสั้นที่พอใช้ได้เป็นงานหนัก
ผมตัดสินได้ว่าภาพสมจริงแค่ไหน แต่แม้แต่จักรยานง่าย ๆ คันเดียวก็ยังวาดให้คนอื่นเชื่อไม่ได้
ในหลายกรณี เราตัดสินได้ว่าผลงานที่ LLM สร้างมาดีหรือแย่ ดังนั้นกลยุทธ์แบบหยาบ ๆ คือทิ้งผลลัพธ์ที่แย่แล้วสร้างต่อไปเรื่อย ๆ จนกว่าจะบรรลุเป้าหมาย ประโยชน์ของ LLM อยู่ที่ ช่องว่างระหว่างการตัดสินแยกแยะกับการสร้าง นี่เอง
ทักษะสองอย่างนี้แยกจากกัน ความสามารถในการสร้างนั้นฝึกได้ยากและมีคุณค่าสูง ถ้าไม่ฝึกต่อไปมันจะฝ่อลง
แต่สำหรับงานที่ซับซ้อนกว่า โดยเฉพาะด้านที่ต้องประเมินอย่างลึกซึ้ง ไม่จำเป็นต้องเป็นอย่างนั้นเสมอไป เช่น การรีวิว PR ที่ไม่ trivial 5 รายการ มีแนวโน้มว่าจะยากกว่าและใช้เวลานานกว่าการเขียนเอง
เหตุผลที่มันใช้ได้ดีกับภาพหรือเรื่องสั้นสั้น ๆ คือ filter ที่เราใช้ไม่ใช่ “ดี vs แย่” แต่เป็น ชอบ vs ไม่ชอบ
ผม/ฉันคิดว่าเราน่าจะได้เรียนรู้วิธีสร้างความสัมพันธ์ที่ดีต่อสุขภาพมากขึ้นกับเทคโนโลยีแบบนี้ แต่ไม่รู้กรอบเวลา อาจใช้เวลาหลายชั่วคน หรืออาจเกิดขึ้นเร็วกว่าที่คิดก็ได้
ชัดเจนว่าโมเดลภาษาเป็นตัวเร่งความเร็วแบบมหาศาล แต่ถ้าคนทั่วไป “พูดเก่งขึ้น” สัญญาณที่บ่งบอกสติปัญญาดิบก็จะเปลี่ยนไปตามเวลาเช่นกัน
ไม่มีใครอยากมีความสัมพันธ์กับโมเดลภาษา แต่โมเดลภาษาอาจช่วยคนที่ยังไม่พร้อมรับมือกับการเปลี่ยนแปลงครั้งใหญ่ในชีวิตและความผิดหวังได้ มันคือเครื่องมือ แค่ต้องรู้วิธีใช้
ลองดูตัวอย่างจริงอย่าง คำแนะนำเรื่องความรัก เมื่อเวลาผ่านไป ผม/ฉันคิดว่า “ความสัมพันธ์ที่มี ChatGPT นำทาง” จะแบ่งเป็นสองกลุ่ม กลุ่มหนึ่งคือแบบ “คัดลอกวาง” ที่แค่เพิ่มความซับซ้อนให้การสื่อสารที่เดิมก็ขาดตกบกพร่องอยู่แล้ว หรือประเภท “ก็แค่คัดลอกสิ่งที่ ChatGPT บอกมา” ส่วนอีกกลุ่มคือแบบ “เร่งความเข้าใจ” ที่ใช้ ChatGPT วิเคราะห์แรงจูงใจของตัวเองและคู่ เพื่อหาทางแก้ปัญหาทั่วไปที่ดีกว่า
การตัดสินแบบหลังให้ดีได้ยังต้องใช้สมองและความเห็นอกเห็นใจอยู่ แบบแรกจะจบลงด้วยความช้ำใจเสมอ ผม/ฉันเชื่อว่าสุดท้ายผู้คนจะเข้าใจความแตกต่างนี้
แม้ไม่มีประสบการณ์ตรงหรือทางอ้อม แต่ได้ยินกรณีมากมายที่คนเข้าไปมีความสัมพันธ์บางอย่างกับ AI จริง ๆ และก็พอเข้าใจเสน่ห์ของมันได้อยู่บ้าง คุณสามารถมี “ใครสักคน” ที่ไม่ตัดสินคุณเลย อยู่ข้าง ๆ เสมอเมื่อคุณอยากเล่าเรื่องของตัวเอง และไม่เรียกร้องอะไรจากคุณ มันต่างจากความสัมพันธ์จริงโดยสิ้นเชิง แต่เมื่อเทียบอย่างเป็นกลางก็อาจดีกว่าความสัมพันธ์มนุษย์ที่แย่ที่สุด และอาจดีต่อสุขภาพจิตมากกว่าความโดดเดี่ยวด้วย
ไม่ว่าจะดีหรือร้าย ในอีก 10 ปีข้างหน้า ความสัมพันธ์ระหว่างมนุษย์กับ AI น่าจะเพิ่มขึ้นอย่างรวดเร็ว เพราะด้านหนึ่งมีการพัฒนาด้านความจำ ความสามารถในการวางแผนระยะยาว และอาจรวมถึงร่างกายหุ่นยนต์ ส่วนอีกด้านหนึ่งก็มีการแพร่ขยายของกระแสความโดดเดี่ยว
สิ่งนี้เรียกว่า การถ่ายโอนภาระทางปัญญา ใครที่เคยทำงานกับเครื่องมือช่วยเขียนโค้ดนานพอก็น่าจะจำได้
เป็นผลลัพธ์ที่หลีกเลี่ยงไม่ได้เมื่อทำงานในระดับนามธรรมที่สูงขึ้น ไม่ใช่จุดจบของโลกหรอก ทักษะ Assembly ของผม/ฉันก็ขึ้นสนิมไปแล้วเหมือนกัน