เหตุใดงานเขียนด้วย AI จึงเชยและน่าเบื่อ: การลบความหมายเชิงความหมาย

• การลบความหมายเชิงความหมาย (Semantic ablation) คือ ปรากฏการณ์การกัดกร่อนเชิงอัลกอริทึม ที่ AI ค่อยๆ ลบความหนาแน่นเชิงความหมายอันเป็นเอกลักษณ์ของข้อความออกไป
• นี่คือ ผลพลอยได้เชิงโครงสร้าง ของ greedy decoding และ การเรียนรู้เสริมจากข้อเสนอแนะของมนุษย์ (RLHF) ซึ่งละทิ้งถ้อยคำที่หายากและแม่นยำ แล้วลู่เข้าสู่ภาษาค่าเฉลี่ย
• การปรับจูน AI ให้ ‘ปลอดภัย’ และ ‘เป็นประโยชน์’ ยิ่งเสริมแนวโน้มนี้ ทำให้จงใจยับยั้งแรงเสียดทานทางภาษาที่ไม่เป็นแบบแผน และก่อให้เกิด การตัดขาดเจตนาและเอกลักษณ์
• ยิ่งนำข้อความไปให้ AI ขัดเกลาซ้ำๆ ความหลากหลายของคำศัพท์ (type-token ratio) ก็ยิ่งลดลงอย่างรวดเร็ว ขณะที่อุปมา ศัพท์เฉพาะ และโครงสร้างตรรกะถูกทำให้แบนราบลงเป็นลำดับ
• ผลลัพธ์คือความซับซ้อนของความคิดมนุษย์ถูก สังเวยให้กับสุนทรียะเชิงอัลกอริทึมที่เรียกว่า ‘ความลื่นไหล’ และทั้งสังคมกำลังตกอยู่ใน ‘การวิ่งเข้าหาค่ากลาง’

---

แนวคิดของการลบความหมายเชิงความหมาย (Semantic ablation)

• การลบความหมายเชิงความหมายหมายถึง การกัดกร่อนเชิงอัลกอริทึมของข้อมูลที่มีเอนโทรปีสูง (high-entropy)
  • สิ่งนี้ไม่ได้เป็นความผิดพลาด แต่ถูกนิยามว่าเป็น ผลผลิตเชิงโครงสร้างของกระบวนการ greedy decoding และ RLHF
  • เพื่อเพิ่มความน่าจะเป็นให้สูงสุด โมเดลจะ ลู่เข้าสู่ศูนย์กลางของการแจกแจงแบบ Gaussian และทิ้งโทเค็นที่หายาก แม่นยำ และซับซ้อน
• ปรากฏการณ์นี้ยิ่งรุนแรงขึ้นเมื่อผู้พัฒนาเพิ่มการปรับจูนด้าน ‘ความปลอดภัย’ และ ‘ความเป็นประโยชน์’
  • แรงเสียดทานทางภาษาที่ไม่เป็นแบบแผนถูกมองว่าเป็น ‘ความเสี่ยง’ จึงเกิด การตัดทอนความหมายโดยไม่ได้รับอนุญาต
  • ผลคือ ในกระบวนการแสวงหา perplexity ต่ำ จึงเกิด การทำลายสัญญาณเฉพาะตัว

กระบวนการกัดกร่อนของงานเขียนด้วย AI

• กระบวนการที่ AI ‘ขัดเกลา’ ร่างต้นฉบับ แท้จริงแล้วอธิบายได้ว่าเป็น กระบวนการลงมือทำ semantic ablation
  • AI จะค้นหาบริเวณที่มีเอนโทรปีสูง หรือก็คือ ส่วนที่บรรจุอินไซต์ที่เป็นต้นฉบับ แล้วแทนที่ด้วย โทเค็นทั่วไปที่มีความน่าจะเป็นสูงที่สุด
  • ความแม่นยำแบบหยาบๆ ที่ข้อความเดิมมีอยู่จะหายไป และเปลี่ยนเป็น เปลือกภายนอกที่ลื่นไหลแต่กลวงเปล่า
• ปรากฏการณ์นี้สามารถวัดได้ด้วย Entropy Decay
  • ยิ่งนำข้อความไปกลั่นเกลาด้วย AI ซ้ำๆ ความหลากหลายของคำศัพท์ (type-token ratio) ก็ยิ่งพังทลาย
  • ผลลัพธ์คือจะปรากฏ กระบวนการ 3 ขั้นของ semantic ablation

3 ขั้นของ semantic ablation

• ขั้นที่ 1: การชำระล้างอุปมา (Metaphoric cleansing)
  • AI มองอุปมาที่ไม่เป็นแบบแผนหรือภาพพจน์เชิงสัมผัสว่าเป็น ‘noise’ แล้วแทนที่ด้วย สำนวนเชยๆ ที่ปลอดภัย
  • แรงเสียดทานทางอารมณ์และประสาทสัมผัสถูกกำจัดออก
• ขั้นที่ 2: การทำให้คำศัพท์แบนราบ (Lexical flattening)
  • ศัพท์เฉพาะทางและคำเทคนิคที่แม่นยำ ถูกสังเวยด้วยเหตุผลเรื่อง ‘การเข้าถึงได้ง่าย’
  • โทเค็นหายาก (1/10,000) ถูกแทนด้วยคำพ้องที่พบบ่อยกว่า (1/100) ทำให้ ความหนาแน่นเชิงความหมายและแรงโน้มถ่วงทางตรรกะ เจือจางลง
• ขั้นที่ 3: การพังทลายของโครงสร้าง (Structural collapse)
  • ตรรกะแบบไม่เป็นเชิงเส้นที่ซับซ้อนถูกบังคับให้กลายเป็น โครงสร้างที่คาดเดาได้และมี perplexity ต่ำ
  • นัยแฝงและความละเอียดอ่อนถูกลบออก จนเหลือเพียง เปลือกที่สมบูรณ์ทางไวยากรณ์แต่กลวงเปล่าทางปัญญา

ผลลัพธ์และอุปมา

• ผลลัพธ์เช่นนี้ถูกพรรณนาว่าเป็น ‘JPEG ของความคิด’
  • ภายนอกดูสอดคล้องและลื่นไหล แต่ ความหนาแน่นของข้อมูลและความหมายดั้งเดิมได้สูญหายไปแล้ว
• หาก ‘hallucination’ คือข้อผิดพลาดที่สร้างสิ่งซึ่งไม่มีอยู่ขึ้นมา semantic ablation ก็คือกระบวนการทำลายสิ่งที่มีอยู่แล้ว
  • ความซับซ้อนของความคิดมนุษย์ถูก สังเวยบนแท่นบูชาของความลื่นไหลเชิงอัลกอริทึม
  • สังคมกำลังถลำลึกขึ้นเรื่อยๆ สู่ ‘การวิ่งเข้าหาค่ากลาง (race to the middle)’ และกำลังก่อสร้าง โลกทางไวยากรณ์ที่กลวงเปล่า

คำเตือนและบทสรุป

• หากยอมรับผลลัพธ์จาก AI โดยไม่ตระหนักถึง semantic ablation ก็เท่ากับกำลัง ทำให้ความเสื่อมสลายของความหมายกลายเป็นเรื่องปกติ
• หากการกัดกร่อนนี้ดำเนินต่อไป ก็มีความเสี่ยงว่าเราอาจ ลืมไปเสียด้วยซ้ำว่า ‘เนื้อแท้ (substance)’ คืออะไร
• เพราะฉะนั้น การตั้งชื่อแนวคิด semantic ablation และตระหนักรู้ถึงมัน จึงเป็นสิ่งสำคัญ

[mammal]

ถ้ามองว่าเพื่อไม่ให้ดูเหมือนเป็นข้อความที่ AI เขียน การปล่อยคำผิดไว้เฉยๆ หรือเขียนด้วยตัวพิมพ์เล็กนั้น ก็อาจถือได้ว่าเป็นการเพิ่มเอนโทรปีโดยเจตนา

[GN⁺]

ความคิดเห็นจาก Hacker News

• นี่ดูเหมือนจะจับความรู้สึกร่วมของคนจำนวนมากได้ดี เวลาพวกเขาปฏิเสธ คำแนะนำให้เขียนประโยคใหม่ จาก AI
  ยิ่ง AI ขัดเกลาประโยคมากเท่าไร ความ เฉียบคม ของงานเขียนก็ยิ่งหายไป และสุดท้ายก็กลายเป็นว่าไม่ได้พูดอะไรเลย
  เอกลักษณ์ความเป็นมนุษย์หายไป กลายเป็นสำนวนที่ลื่นไหลแต่จืดชืด
  แต่เหลี่ยมมุมที่หยาบ ความแปลกที่คาดไม่ถึงนั่นแหละ คือส่วนที่ปลุกความสนใจของผู้อ่านและเจาะลึกเข้าไปในความคิด

  • คิดว่ามันขึ้นอยู่กับว่าทักษะการเขียนดีแค่ไหน
    หลายคนเขียนไม่เก่ง ดังนั้น AI จึงช่วยทำให้ประโยคชัดเจนขึ้นและผิดพลาดน้อยลง
    แต่ถึงอย่างนั้นงานเขียนแบบนั้นก็ไม่มีวัน ยอดเยี่ยม
    ต่อให้พยายามเลียนสไตล์นักเขียนดัง ก็ฟังดูแปลก ๆ อยู่ดีเสมอ
  • ผมมองว่า AI โดยพื้นฐานแล้วเป็น เครื่องมือสำหรับงานประจำวัน
    มันช่วยทำให้ส่วนที่น่าเบื่ออย่างอีเมลมีประสิทธิภาพขึ้นได้ แต่สิ่งที่น่าสนใจจริง ๆ เกิดขึ้นตรง ‘ขอบ’ นั้น
    งานเขียนทั่วไปอาจทำให้เป็นอัตโนมัติได้ แต่การแสดงออกเชิงสร้างสรรค์ยังคงเป็นพื้นที่ของมนุษย์
  • รู้สึกว่าสำนวนที่ AI สร้างขึ้นคล้ายกับ น้ำเสียงของผู้จัดการ
    เมื่อขาดความเชี่ยวชาญทางเทคนิค มันก็จะยิ่งเต็มไปด้วยคำกำกวม คำฮิต และการเปรียบเปรย
    นี่อาจเป็นเหตุผลว่าทำไมผู้นำหรือนักการเมืองถึงชอบคอนเทนต์ที่สร้างโดย AI
  • เหตุผลที่งานเขียนของ AI จืดชืด ไม่ใช่เพราะ ‘สมบูรณ์แบบเกินไป’ แต่เป็นเพราะ ความทื่อแบบประดิษฐ์
    มีการวนซ้ำเยอะ มีประโยคที่ไม่จำเป็นมาก และไม่เก่งเรื่องการใช้ถ้อยคำที่เฉพาะเจาะจง
  • ถ้าสรุปเป็นบรรทัดเดียวก็คือ Mediocrity as a Service

• ตอนสร้าง multi-agent pipeline หลายแบบ ผมเห็นปรากฏการณ์ที่น่าสนใจ
  ถ้าผ่าน 4 ขั้นตอน ‘สรุป → ขยาย → ตรวจทาน → ขัดเกลา’ พอถึงราว ๆ ขั้นตอนที่ 3 ทุกประโยคจะเริ่มมีจังหวะและคำศัพท์เหมือนกันหมด
  ต่อให้บังคับให้อ้างอิงต้นฉบับตลอดก็ยังมีขีดจำกัด
  สาเหตุอยู่ที่โครงสร้างของ RLHF (การเรียนรู้เสริมแรงจากฟีดแบ็กมนุษย์) เอง
  เพราะรูปแบบที่ ‘ชัดเจน ปลอดภัย และกลาง ๆ’ ได้รับการนิยม ประโยคที่น่าประหลาดใจจึงกลับถูกลงโทษ
  สุดท้ายโมเดลก็ลู่เข้าหาผลลัพธ์แบบค่าเฉลี่ย
  โมเดลพื้นฐานนั้น ประหลาดและสร้างสรรค์ กว่ามาก แต่โมเดลที่ผ่านการปรับแต่งอย่างละเอียดจะจงใจลบเอกลักษณ์ออก
  เพราะแบบนี้ โมเดลที่ถูก RLHF หนักมากแล้วจึงแก้ด้วยพรอมป์ต์ได้ยาก
  ทางแก้คือแยกงานกัน เช่น งานที่ ‘ต้องรักษาเสียงของผู้เขียน’ ให้โมเดลที่จูนน้อยกว่าทำ ส่วนงานดึงข้อมูลเชิงโครงสร้างหรือจัดประเภทก็ให้โมเดล RLHF ทำ

  • ขอถามตรง ๆ หน่อยว่า คอมเมนต์นี้ก็ เขียนด้วย LLM เหมือนกันหรือเปล่า
    อย่างไรก็เห็นด้วยกับการวิเคราะห์นะ
  • สงสัยว่าถ้า ฉีด noise เข้าไปในแต่ละขั้นตอนกลางทาง จะช่วยรักษาเอกลักษณ์ไว้ได้ไหม
    เพียงแต่ก็คงยากที่จะคงเอกลักษณ์เฉพาะของต้นฉบับไว้จริง ๆ
  • ต่อให้เอา RLHF ออก ก็ยังน่าสงสัยว่าจะรักษาผลลัพธ์ที่หลุดจากค่าเฉลี่ยให้มีประโยชน์ได้หรือไม่
    ท้ายที่สุดมันอาจเป็นปัญหาที่แก้ด้วย LLM อย่างเดียวได้ยาก

• ทุกวันนี้ได้ยิน เสียงของ AI อยู่ทั่วทั้งอินเทอร์เน็ต
  ทั้งบล็อก ข่าว ข่าวมรณกรรม ไปจนถึง YouTube ต่างก็ใช้น้ำเสียงคล้าย ๆ กันหมด
  บางครั้งถึงขั้นเลียนเสียงของนักฟิสิกส์ชื่อดัง
  สำหรับผมมันให้ความรู้สึกเหมือนวิญญาณถูกดูดออกไป จนน่าเศร้า

  • แม้แต่ในบทความนี้เองก็ดูเหมือนจะมีกลิ่น ความเป็น AI อยู่เหมือนกัน
  • ยิ่งนานวันยิ่งเกิดแรงต้านในระดับสัญชาตญาณ
    มันเหมือนกับ ร่องรอยการบีบอัด JPEG ในปี 1993 ที่ตอนนี้เริ่มสังเกตเห็นได้ชัดแล้ว
  • คิดว่านี่คือ การเปลี่ยนแปลงที่เลวร้ายที่สุด ของอินเทอร์เน็ตนับตั้งแต่ฟีดเสพติดและโฆษณา
    และเพราะผลของผู้ก่อตั้ง ก็คงไม่มีอินเทอร์เน็ตแบบใหม่เกิดขึ้นมาแล้วด้วย
  • ทันทีที่จับรูปแบบสำนวนของ AI ได้ สมาธิก็หลุดทันที
    ไม่รู้ว่าผมอ่อนไหวเกินไป หรือว่ามันเขียนได้แย่จริง ๆ
  • ตอนนี้ กิจกรรมนอกโลกออนไลน์ กลับสนุกกว่าแล้ว
    อินเทอร์เน็ตถูกปกคลุมไปด้วยขยะสังเคราะห์จนไม่อยากดูเลย

• ผมคิดว่าคำว่า “Generative AI” เองก็เรียกผิดแล้ว
  ยิ่งเข้าใจหลักคณิตศาสตร์ของแมชชีนเลิร์นนิงมากขึ้น ก็ยิ่งรู้สึกว่าไม่ควรเอามันมาใช้สร้างคอนเทนต์ให้คนดู
  บางครั้งอาจโชคดีได้ผลลัพธ์ที่พอใช้ได้ แต่ส่วนใหญ่ก็อยู่ในระดับ คนที่พยายามฝืนทำตัวให้สร้างสรรค์ในงานปาร์ตี้น่าเบื่อ
  มันมีประโยชน์ในฐานะเครื่องมือช่วยงานสร้างสรรค์ แต่ผมไม่คิดว่ามันจะสร้างผลลัพธ์ที่สร้างสรรค์ได้ด้วยตัวเอง

  • ผู้คนต้องการ ของจริง
    เมื่อเทียบกับโทเคนสังเคราะห์แล้ว ผมยังรู้สึกว่าอ่านพรอมป์ต์ต้นฉบับตรง ๆ ยังดีกว่า
  • ถ้าพูดสั้น ๆ ก็คือ Regurgitative AI หรือ AI แบบคายของเดิมกลับออกมา
  • คงดีถ้าบริษัทต่าง ๆ ไปโฟกัสกับพื้นที่ที่ AI ใช้ได้ดีจริง เช่น ตัวช่วยค้นหา หรือการทำโค้ดอัตโนมัติ
    แต่ความเป็นจริงคือการปั่น spaghetti agent เพื่อดันราคาหุ้น
  • วลีที่ว่า “คำพูดของคนที่น่าเบื่อที่สุด” แม่นจนน่าขำ
    จะว่าไปก็คือ Median AI à la mode

• ประโยค “high entropy” ที่นักวิชาการพระคัมภีร์ Dan McClellan ใช้นั้นตราตรึงมาก
  ใน วิดีโอ YouTube
  เขายกประโยคว่า “they sounded the tuning fork in the loins of their dogmatism” ขึ้นมา
  และผมรู้สึกว่านี่เป็นถ้อยคำแบบที่ AI ไม่มีวันสร้างได้

  • แต่ประโยคนั้นก็ฟังดูเหมือน สลัดคำศัพท์ อยู่บ้าง
    ถ้าเป็นสำนวนระดับ GPT-2 อาจกลับฟังดูเป็นธรรมชาติกว่าก็ได้
  • AI จะไม่มีวันใช้คำอย่าง “loins” หรือ “dogmatism”
    เพราะมันเป็นคำที่ ส่อเรื่องเพศเกินไปหรือเสียต่อการตลาด
  • อุปลักษณ์นั้นให้ความรู้สึกเป็น การเปรียบเปรยที่ปนกันมั่ว เล็กน้อย
  • จริง ๆ แล้วโมเดลอย่าง Claude ถ้าให้พรอมป์ต์ดี ๆ ก็สร้าง อุปลักษณ์หวือหวา ได้เหมือนกัน
    เช่นให้พรอมป์ต์ว่า “เขียนโดยผสมสไตล์ของ Jim Thompson กับ Thomas Harris พร้อมอารมณ์แบบนิยายพัลพ์จากร้านหนังสือตามป้ายรถบรรทุกในปี 1967” ก็ได้ผลที่ค่อนข้างดี
    Claude เก่งกว่า ChatGPT ในสำนวน โอเวอร์ ๆ แบบนี้
    สุดท้ายแล้วที่งานเขียนบนเว็บฟังดูคล้ายกันไปหมด ไม่ใช่เพราะ HTML แต่เป็นเพราะคน ไม่ได้ใช้ HTML ให้ดีพอ

• ผมก็มีประสบการณ์คล้ายกัน
  ผมเขียน landing page ของสตูดิโอใหม่ด้วยอารมณ์เต็มที่ แล้วเอาไปให้ Grok ช่วย ผลคือเอกลักษณ์หายเกลี้ยง
  ถ้อยคำที่หยาบกระด้างนี่แหละที่จำเป็นต่อการส่งวิญญาณของคอนเซปต์
  ตอนนี้เลยใช้ AI แค่ ตรวจสอบไอเดีย เท่านั้น

  • ผมก็เคยใช้ LLM สำหรับ สร้างไอเดีย แต่ผลลัพธ์แย่มาก
    เคยให้มันคิดโครงเรื่องแคมเปญ Dungeon World แล้วได้แต่ ฉากหลังที่ธรรมดาและไร้ความหมาย
    แต่ในทางกลับกัน มันมีประโยชน์ในการสรุปบันทึกหลังจบเซสชันแล้วเปลี่ยนให้เป็น เรื่องเล่าที่น่าสนใจ
    ChatGPT ชอบโทนที่ติดตลกนิด ๆ แต่ถ้าแก้ไขหน่อยก็อ่านได้ดีพอสมควร
    สุดท้ายแล้วพล็อตที่สร้างสรรค์ก็ยังต้องให้มนุษย์คิดเอง
  • ถ้ารับไอเดียจาก AI มาใช้ตรง ๆ จะเกิดทั้ง การทำให้อุปมาเรียบง่ายเกินไป และ การทำให้คำศัพท์แบนราบ
    จนอาจเสี่ยงต่อการเข้าใจแนวคิดในแบบที่บิดเบี้ยว
    มันมีประโยชน์เวลาอยากหาคำใหม่ ๆ แต่ถ้าต้องการเข้าใจแนวคิดอย่างลึกซึ้ง ผมคิดว่าการไปอ่าน แหล่งข้อมูลที่มนุษย์เขียน โดยตรงดีกว่ามาก

• ผมชอบแนวคิด “Semantic ablation” มาก
  ต่อไปคงเอาไปใช้เวลาอธิบายว่าทำไมอีเมลสไตล์ ChatGPT ของใครบางคนถึงไม่ค่อยดี
  และด้วยเหตุผลนี้เอง ผมจึงยังสงสัยกับคำอ้างว่าโมเดลอย่าง Opus 4 จะกลายเป็น AGI ได้
  สุดท้ายต่อให้ปล่อยหลายเอเจนต์ออกไป มันก็คงลู่เข้าเป็น โจ๊กเนื้อเนียนที่ไร้ความหมาย อยู่ดี

  • ขอบคุณที่ให้ภาษามาใช้เรียกมุมมองแบบนี้

• การสร้างภาพดูเหมือนเป็นกระบวนการแบบ anti semantic ablation อย่างหนึ่ง
  เพราะมันเริ่มจากผืนผ้าใบว่างเปล่า แล้วค่อย ๆ ลู่เข้าสู่พิกเซลที่มีความหมายมากขึ้น
  เลยสงสัยว่าในการสร้างภาษาจะทำแบบคล้ายกันได้ไหม คือค่อย ๆ พัฒนาไปเป็น ประโยคที่มีจุดยืนชัดเจน มากขึ้น

• ถ้าวัดระดับ การลบเลือนความหมาย ของประโยคที่สร้างขึ้นได้ ก็น่าจะทำเอเจนต์แบบวนลูปเพื่อลดมันลงได้
  ถ้าเป็นแบบนั้น มันอาจค้นพบ ความเชื่อมโยงใหม่ ที่ยังไม่ถูกพบในข้อมูลฝึกก็ได้
  แน่นอนว่าผลลัพธ์อาจออกมาแค่เหมือนการตะโกนส่งเสียงก็ได้เหมือนกัน

• สำหรับคนที่ยังไม่เคยเห็น แนะนำหน้า Signs of AI writing บน Wikipedia
  เดิมทีมันเป็นไกด์สำหรับตรวจจับเนื้อหาที่ AI มีส่วนช่วยเขียน
  แต่ก็เป็น แหล่งอ้างอิงที่ดี ที่ช่วยให้เรารู้ตัวว่าตอนเขียนเองเราก็กำลังทำพลาดแบบเดียวกันอยู่ และแก้ไขได้