วิธีที่ LLM บิดเบือนภาษาลายลักษณ์อักษรของเรา

• แม้ LLM จะช่วยเพิ่มประสิทธิภาพในการช่วยเขียน แต่เมื่อแก้ไขข้อความของมนุษย์ มันกลับเปลี่ยนข้อสรุป, จุดยืน, และรูปแบบการโต้แย้ง พร้อมก่อให้เกิด การเปลี่ยนแปลงความหมาย ที่ต่างจากการแก้ไขโดยมนุษย์
• ในงานวิจัยกับผู้ใช้ ผู้ที่ใช้ LLM มากตอบว่าพึงพอใจกับผลลัพธ์ แต่ก็ระบุพร้อมกันว่า น้ำเสียงเฉพาะตัว และ ความคิดสร้างสรรค์ ของตนลดลงอย่างมีนัยสำคัญทางสถิติ แสดงให้เห็นถึงความขัดแย้งของความพึงพอใจ
• เมื่อนำเรียงความที่มนุษย์เขียน 86 ชิ้น ใน ArgRewrite-v2 ไปให้ LLM สามตัว (gpt-5-mini, gemini-2.5-flash, claude-haiku) แก้ไข พบว่าแม้สั่งเพียงให้แก้น้อยที่สุดหรือแก้ไวยากรณ์ คำศัพท์และความหมายก็ยังเปลี่ยนไปมาก
• ข้อความที่ LLM เขียนหรือแก้ไขมีแนวโน้มเปลี่ยนไปสู่สไตล์ที่เป็นทางการและไร้ตัวตนมากขึ้น โดยเพิ่มการใช้คำนาม คำคุณศัพท์ รวมถึงภาษาที่มีอารมณ์ เชิงตรรกะ และเชิงสถิติ ขณะที่ สรรพนาม และการโต้แย้งที่อิงประสบการณ์ส่วนตัวลดลง
• จากการวิเคราะห์รีวิว peer review ของ ICLR 2026 จำนวน 18,000 ชิ้น พบว่ารีวิวที่ถูกตัดสินว่าเป็นการสร้างโดย AI มีสัดส่วน 21% ของทั้งหมด และให้คะแนนสูงกว่ามนุษย์ 10% พร้อมเน้นเรื่องความสามารถในการทำซ้ำและการขยายผลมากกว่า

---

ภาพรวมงานวิจัย

• ปัจจุบันมีผู้ใช้ LLM มากกว่า 1 พันล้านคน ทั่วโลก และการใช้งานที่พบได้บ่อยที่สุดคือช่วยงานเขียน
• แม้ LLM จะช่วยเพิ่มประสิทธิภาพได้มาก แต่ก็มีคำถามว่ามันเขียนออกมาตรงกับสิ่งที่ผู้ใช้ต้องการจริงหรือไม่
• ผู้ใช้จำนวนมากพอจะสังเกต “ความรู้สึก” ของสำนวนแบบ LLM ได้ แต่กลับไม่ค่อยตระหนักว่า LLM บิดเบือน ความหมาย ของงานเขียนมากเพียงใด
• การวิเคราะห์ครอบคลุมข้อมูล 3 ชุด
  • งานวิจัยกับผู้ใช้จริง
  • ชุดข้อมูลเรียงความเชิงโต้แย้งที่มนุษย์เขียน
  • รีวิวของงานประชุมแมชชีนเลิร์นนิงชั้นนำ
• เอกสารงานวิจัยเผยแพร่เป็น Paper และ Code

ข้อค้นพบหลัก

• LLM เปลี่ยนข้อสรุปของงานเขียน รวมถึงเปลี่ยน จุดยืน และ ประเภทของการโต้แย้ง ไปด้วย
• ผู้ใช้ตอบว่าพึงพอใจกับผลลัพธ์ แต่ก็รายงานว่า น้ำเสียงเฉพาะตัว และ ความคิดสร้างสรรค์ ของตนลดลงอย่างมีนัยสำคัญทางสถิติ สะท้อนความขัดแย้งของความพึงพอใจ
• แม้จะสั่งให้แก้เพียงไวยากรณ์ LLM ก็ยังทำให้เกิด การเปลี่ยนแปลงความหมาย มากกว่าการแก้โดยมนุษย์
• ผลกระทบดังกล่าวยังพบในรีวิวของ International Conference of Learning Representations (ICLR) ปี 2026
  • รีวิว peer review ที่ถูกตัดสินว่าเป็นการสร้างโดย AI คิดเป็น 21% ของทั้งหมด
  • รีวิวเหล่านี้ให้ความสำคัญกับเกณฑ์ทางวิทยาศาสตร์ที่ต่างจากรีวิวของมนุษย์อย่างมีนัยสำคัญ ทั้งในเหตุผลของการรับหรือปฏิเสธบทความ
• ยิ่ง LLM ถูกรวมเข้ากับสังคมมากขึ้น การเปลี่ยนแปลงความหมายแบบละเอียดอ่อนนี้ก็อาจเปลี่ยนทั้งการเมือง วัฒนธรรม วิทยาศาสตร์ ตลอดจนการสื่อสารระหว่างเพื่อนและครอบครัว
• แม้งานวิจัยจะเน้นการเขียนเชิงโต้แย้ง แต่ผลลัพธ์อาจขยายไปอธิบายงานเขียนและการสื่อสารรูปแบบอื่นได้ด้วย

การแก้ไขโดย LLM ทำให้งานเขียนเคลื่อนไปคนละทิศกับการแก้ไขโดยมนุษย์

• เมื่อ LLM แก้ไขข้อความของมนุษย์ จะเกิด การเปลี่ยนแปลงแบบทำให้เหมือนกัน ที่แตกต่างอย่างมากจากกรณีที่มนุษย์แก้ไขเรียงความเดียวกัน
• การวิเคราะห์เชิงสวนทางเปรียบเทียบผลลัพธ์ของข้อความเดียวกัน ระหว่างเมื่อ LLM เป็นผู้แก้ไขกับเมื่อมนุษย์เป็นผู้แก้ไข
• ในกรณีการแก้ไขโดยมนุษย์
  • ฉบับร่างแรกแสดงเป็นจุดสีเทาอ่อน
  • ฉบับร่างที่สองหลังได้รับ feedback จากผู้เชี่ยวชาญ แสดงเป็นจุดสีเทาเข้ม
  • การเปลี่ยนแปลงถูกทำให้มองเห็นผ่านการฉาย PCA บนพื้นที่ semantic embedding ของ MiniLM-L6
• ในกรณีการแก้ไขโดย LLM
  • เรียงความต้นฉบับที่มนุษย์เขียนจะได้รับทั้ง feedback จากผู้เชี่ยวชาญและพรอมป์ต์หลายรูปแบบ
  • แม้สั่งให้แก้น้อยที่สุด ก็ยังเกิดการเปลี่ยนแปลงขนาดใหญ่กับทุกเรียงความ
  • ทิศทางของการเปลี่ยนแปลงเคลื่อนไปอย่างสม่ำเสมอ ออกจากรูปแบบการเขียนแบบมนุษย์
• ตัวอย่างจากชุดข้อมูล ArgRewrite-v2 แสดงให้เห็นว่าการเขียนโดยใช้ LLM สามารถเปลี่ยนข้อสรุปของเรียงความและลบเสียงของผู้เขียนมนุษย์ออกไปได้อย่างไร

วิธีวิทยาและชุดข้อมูล

• งานวิจัยกับผู้ใช้จริง

  • มีการทำ user study เพื่อดูว่าการใช้ LLM ส่งผลต่อกระบวนการเขียนอย่างไร
  • ผู้เข้าร่วม 55 คน สามารถใช้ LLM ได้ และอีก 45 คน ไม่มีสิทธิ์เข้าถึง LLM
  • ระหว่างเซสชัน ผู้ใช้จำนวนมากเลือกหลีกเลี่ยงการใช้ LLM เอง จึงมีการวิเคราะห์โดยอิงจากพฤติกรรมการใช้งานจริง
  • แบ่งออกเป็น 2 กลุ่ม
    • LLM-Influenced: ผู้ที่ไม่ใช้ LLM หรือใช้เพียงเพื่อค้นหาข้อมูล
    • LLM: ผู้ที่ใช้ LLM อย่างกว้างขวาง
  • การแบ่งกลุ่มนี้กำหนดไว้ล่วงหน้าก่อนการประเมินและวิเคราะห์
  • ใช้บันทึกบทสนทนา เรียงความฉบับสุดท้าย และคะแนนการรายงานการใช้งานด้วยตนเองประกอบการจำแนก

• ArgRewrite-v2

  • ใช้เรียงความที่มนุษย์เขียน 86 ชิ้น ซึ่งเก็บรวบรวมในปี 2021
  • ข้อมูลชุดนี้เป็นงานเขียนจากก่อนที่ LLM จะถูกเปิดให้ใช้อย่างแพร่หลาย
  • ใช้ LLM ระดับโปรดักชัน 3 ตัวเพื่อแก้ไขเรียงความ
    • gpt-5-mini
    • gemini-2.5-flash
    • claude-haiku
  • ใช้รูปแบบการแก้ไข 5 แบบ
    • การแก้ไขทั่วไป
    • การแก้ไขให้น้อยที่สุด
    • การแก้ไวยากรณ์
    • การเขียนให้จบ
    • การขยายความ
  • เปรียบเทียบฉบับร่างที่ LLM สร้างกับฉบับแก้ไขที่มนุษย์เขียนในหลายมิติ
    • ความหมาย
    • การใช้คำศัพท์
    • การกระจายของชนิดคำ
    • โทนอารมณ์
    • ลักษณะเชิงสไตล์

• การวิเคราะห์รีวิว ICLR 2026

  • วิเคราะห์รีวิว peer review ของ ICLR 2026 จำนวน 18,000 ชิ้น
  • เลือกบทความที่มีทั้งรีวิวที่มนุษย์เขียนทั้งหมดหนึ่งชิ้น และรีวิวที่ LLM สร้างทั้งหมดหนึ่งชิ้น
  • ใช้ตัวจำแนกแบบ LLM-as-a-Judge เพื่อระบุจุดแข็งและจุดอ่อนที่แต่ละรีวิวอ้างถึง
  • เปรียบเทียบคะแนนที่มนุษย์และ LLM ให้ไว้

ความขัดแย้งระหว่างความพึงพอใจของผู้ใช้กับการสูญเสียน้ำเสียงเฉพาะตัว

• ผู้ใช้ที่ใช้ LLM มากตอบว่าเรียงความของตนไม่ได้สะท้อนน้ำเสียงของตัวเอง
• แต่ในขณะเดียวกันก็ยังตอบว่าพึงพอใจกับผลลัพธ์ เกิดเป็น ความขัดแย้งของความพึงพอใจ
• ผู้ใช้แสดงความพึงพอใจ แต่ก็รายงานพร้อมกันว่าความคิดสร้างสรรค์และน้ำเสียงเฉพาะตัวลดลงอย่างมีนัยสำคัญ
• RLHF ช่วยเพิ่มประสิทธิภาพตามความพึงพอใจได้ แต่ยังไม่เพียงพอสำหรับการรักษาความคิดสร้างสรรค์และความหมายไว้

การเคลื่อนที่ไปในทิศทางร่วมกันที่ปรากฏในพื้นที่ความหมาย

• เรียงความที่มนุษย์เขียนในกลุ่มควบคุมกระจายตัวกว้างทั่วพื้นที่ embedding
• การกระจายเช่นนี้สะท้อนความหลากหลายของมุมมอง สไตล์การเขียน และวิธีการโต้แย้งของแต่ละบุคคล
• เรียงความที่ LLM เขียนกลับรวมตัวกันอย่างหนาแน่นในบริเวณที่เรียงความของมนุษย์ไม่ได้ครอบครอง
• การแก้ไขโดย LLM สร้างการเปลี่ยนแปลงทางความหมายขนาดใหญ่ และทิศทางของการเปลี่ยนแปลงก็มีลักษณะร่วมกันอย่างชัดเจน
• ฉบับที่ LLM แก้ไขเคลื่อนไปยังบริเวณของพื้นที่ที่ไม่เคยมีเรียงความที่มนุษย์เขียนอยู่มาก่อน
• สิ่งนี้เป็นหลักฐานว่า LLM ขยับความหมายของข้อความในแบบที่ต่างจากบรรณาธิการมนุษย์

การเปลี่ยนข้อสรุปและจุดยืน

• ผู้ใช้ LLM เขียนเรียงความที่เป็นกลางมากขึ้นต่อคำถามว่า “เงินนำไปสู่ความสุขหรือไม่?”
• เรียงความเหล่านี้มีแนวโน้มหลีกเลี่ยงการแสดงจุดยืนที่ชัดเจน
• นี่สะท้อนการเปลี่ยนแปลงเชิงพื้นฐาน เพราะแม้แต่ จุดยืน ของการโต้แย้งก็ถูกเปลี่ยนไป

การเปลี่ยนแปลงด้านคำศัพท์และไวยากรณ์

• การแก้ไขโดย LLM เปลี่ยนคำที่ใช้มากกว่าการแก้ไขโดยมนุษย์อย่างชัดเจน
• ลายนิ้วมือทางคำศัพท์เฉพาะตัวของผู้เขียนแต่ละคนถูกเขียนทับด้วยคำศัพท์ที่ LLM ชอบใช้
• LLM เลือกใช้สไตล์ที่เป็นทางการมากกว่า
• ยังพบการเปลี่ยนแปลงในการกระจายของชนิดคำด้วย
  • การใช้คำนามและคำคุณศัพท์เพิ่มขึ้น
  • การใช้สรรพนามลดลง
• การลดลงของสรรพนามตีความได้ว่าเป็นสัญญาณของการลดลงของมุมมองบุคคลที่หนึ่งและการโต้แย้งที่อิงประสบการณ์ พร้อมกับการเคลื่อนไปสู่ภาษาที่ไร้ตัวตนมากขึ้น

การเพิ่มขึ้นของภาษาเชิงอารมณ์ การวิเคราะห์ ตรรกะ และสถิติ

• การเขียนที่ใช้ LLM มีแนวโน้มเพิ่มภาษาที่มีอารมณ์
• เมื่อเทียบการแก้ไขโดยมนุษย์กับการแก้ไขโดย LLM พบว่าทั้งอารมณ์เชิงบวกและเชิงลบเพิ่มขึ้นอย่างมาก
• การเพิ่มขึ้นนี้เกิดขึ้นแม้ในกรณีที่สั่งให้แก้น้อยที่สุดและมีการให้ feedback จากผู้เชี่ยวชาญ
• ในการวิเคราะห์ LIWC ฉบับที่ LLM แก้ไขใน ArgRewrite-v2 มีภาษาที่สะท้อนรูปแบบความคิดที่เป็นทางการ มีตรรกะ และเป็นลำดับขั้นมากขึ้น
• ในงานวิจัยกับผู้ใช้ มนุษย์มักใช้การโต้แย้งที่เชื่อมโยงกับประสบการณ์ส่วนตัวมากกว่า
• เรียงความที่ LLM เขียนใช้การโต้แย้งเชิงสถิติและเชิงตรรกะมากกว่า
• เรียงความที่ได้รับอิทธิพลจาก LLM ยังมีการอ้างความเห็นของผู้เชี่ยวชาญ ซึ่งพบได้ไม่บ่อยในเรียงความที่มนุษย์เขียนเอง

การบิดเบือนเกณฑ์การประเมินในระบบวิทยาศาสตร์

• เมื่อมีการใช้ LLM ในกระบวนการรีวิวทางวิทยาศาสตร์ LLM จะให้คะแนนสูงกว่ามนุษย์ 10%
• รีวิวของมนุษย์และ LLM ใช้เกณฑ์มองจุดแข็งและจุดอ่อนต่างกัน
• รีวิวของมนุษย์กล่าวถึงประเด็นต่อไปนี้บ่อยกว่า
  • มีโอกาสมองความชัดเจนเป็นจุดแข็งมากกว่า 32%
  • มีโอกาสมองความชัดเจนเป็นจุดอ่อนมากกว่า 58%
  • มีโอกาสกล่าวถึงความเกี่ยวข้องของงานวิจัยมากกว่า 32%
• รีวิวของ LLM กล่าวถึงประเด็นต่อไปนี้บ่อยกว่า
  • มีโอกาสกล่าวถึงความสามารถในการทำซ้ำมากกว่า 136%
  • มีโอกาสกล่าวถึงการขยายผลได้มากกว่า 84%
• ความแตกต่างของเกณฑ์ประเมินระหว่างมนุษย์และ LLM อาจส่งผลต่อการที่งานวิทยาศาสตร์แบบใดจะถูกยอมรับว่าใช้ได้และได้รับการส่งเสริม

บทสรุป

• ผลลัพธ์ชี้ให้เห็นรูปแบบที่น่ากังวลว่า AI กำลังบิดเบือนทั้งภาษาของงานเขียนและสถาบันทางวัฒนธรรมอย่างละเอียดอ่อน
• คอนเทนต์ที่ AI สร้างได้แทรกซึมเข้าไปแล้วในหลายพื้นที่
  • สุนทรพจน์ในรัฐสภา
  • เนื้อเพลง
  • บทภาพยนตร์
  • ภาษาพูด
  • ข้อความที่ส่งถึงเพื่อนร่วมงานและคนรัก
• ผู้ที่พึ่งพา AI อย่างมากรับรู้ว่า AI ลดทอนน้ำเสียงและความคิดสร้างสรรค์ของตน แต่ก็ยังพึงพอใจกับผลลัพธ์ในระดับเท่าเดิม
• ความง่ายในการใช้งานและโอกาสในการเร่งความก้าวหน้าในอาชีพมีแนวโน้มจะผลักดันให้ผู้คนผลิตข้อความที่สร้างโดย AI ต่อไป
• ดังที่ข้อมูลจาก ICLR แสดงให้เห็น แรงจูงใจในการส่งข้อความที่ AI สร้างในนามของงานเขียนตนเองในบริบทวิชาชีพก็น่าจะคงอยู่ต่อไป

[GN⁺]

ความเห็นจาก Lobste.rs

• นี่มัน ชวนไม่สบายใจถึงขั้น disturbing จริง ๆ โดยเฉพาะตัวอย่างที่ LLM ไปเปลี่ยนข้อถกเถียงเกี่ยวกับรถขับเคลื่อนอัตโนมัตินั้นค่อนข้างน่าตกใจ
  ที่ LLM วางตัวเป็นกลางนั้นไม่น่าแปลกใจเลย ผมเข้าใจว่าเป้าหมายหลักของผลิตภัณฑ์ LLM กระแสหลักก็คือการพูดความจริงที่ “เป็นที่รับรู้กัน” และช่วยผู้ใช้ แต่ถ้านอกเหนือจากนั้นก็จะรักษาจุดยืนกึ่งกลางแบบกำกวมไว้เป็นพื้นฐาน
  ผมไม่เข้าใจจริง ๆ ว่าทำไมคนถึงหันไปหา LLM เพื่อเขียนหรือแก้ไขงานเขียนที่มีคุณค่า

  • ต่อให้ตีความในแง่ดีว่าเป็นการที่มนุษย์เขียนร่างทั้งหมดเอง แล้วให้ LLM แค่ “ช่วยตรวจว่ามีปัญหาไหม” หลังจากนั้นตอนทบทวนการแก้ไข ก็นึกไม่ออกเลยว่าจะมองไม่เห็นได้อย่างไรว่าผลงานนั้นกลายเป็น คนละความหมาย กับสิ่งที่ส่งไปแล้ว
    คำว่า “ไม่สบายใจ” นี่แหละตรงที่สุด
  • ถ้าผมเข้าใจไม่ผิด Grok ของ Musk ดูเหมือนจะถูกทำให้มีอคติโดยตั้งใจ หรืออย่างน้อยก็เคยเป็นแบบนั้น
  • นั่นเป็นแนวปฏิบัติแบบมืออาชีพที่ดีสำหรับผู้ช่วยหรือบรรณาธิการตรวจแก้
    ผมไม่เข้าใจว่าทำไมการฝึก LLM ไปในทิศทางนั้นถึงถูกมองว่าเป็นเรื่องไม่ดี

• หน้าเว็บโหลดไม่สมบูรณ์อย่างสม่ำเสมอในสภาพแวดล้อมของผม มี a preprint

• กราฟความถี่ นี่อ้าปากค้างเลย และพูดตามตรงมันดูแทบจะตรงกับที่ผมคาดไว้เป๊ะ
  มองเป็นของขวัญก็ได้ สิ่งที่อยู่ทางซ้ายตอนนี้กลายเป็น คำที่ทรงพลัง แล้ว ส่วนสิ่งที่อยู่ทางขวาก็กำลังค่อย ๆ กลายเป็น คำที่ไร้ความหมาย

  • ไม่รู้ว่าหมายถึงกราฟไหน ผมไม่เห็นอะไรแบบนั้นในหน้า

• ตอนที่พยายามใช้ Claude เป็น บรรณาธิการตรวจแก้ ผมเจอเรื่องแบบนี้บ่อยมาก ต้องแก้พรอมป์ต์หลายรอบกว่าจะทำให้มันโฟกัสแค่การสะกด ไวยากรณ์ และเครื่องหมายวรรคตอน
  แนวโน้มที่ความหมายจะเปลี่ยนน่าจะเกี่ยวข้องกับวิธีการทำงานของ embedding

• เรื่อง ความเป็นเจ้าของการตัดสินใจและความรับผิดชอบ ของผู้ใช้นั้นหายไปอย่างน่าประหลาดจากการถกเถียงเรื่อง AI/LLM จำนวนมาก
  ถ้าสมมติว่าผู้ใช้เป็นผู้ใหญ่ การใช้ LLM ก็เป็นการเลือกอย่าง主动 เอาต์พุตจะใช้หรือไม่ใช้ จะใช้แบบไหน ผู้ใช้ก็ตัดสินใจได้
  ถ้า AI เปลี่ยนการเมือง วัฒนธรรม วิทยาศาสตร์ หรือแม้แต่วิธีสื่อสารกับเพื่อนและครอบครัวอย่าง “ถึงราก” นั่นก็เพราะผู้คน เลือก ที่จะทำแบบนั้น และ AI ก็แค่ทำให้การเลือกนั้นง่ายขึ้น
  ต่อให้ผู้ใช้จะไม่ได้มีความเห็นหรือความชอบที่ชัดเจน ก็ไม่ได้ลบความจริงที่ว่ามีการตัดสินใจเลือกเกิดขึ้น