ไม่ใช่แค่ X แต่คือ Y
(mail.cyberneticforests.com)- โครงสร้าง "It's not X, it's Y" แบบปฏิเสธเพื่อเปรียบเทียบ ที่ LLM ชอบใช้ เดิมเป็นกลวิธีเชิงวาทศิลป์ที่มีประโยชน์สำหรับการวางความต่างและจัดกรอบสมมติฐานเดิมใหม่
- แต่ช่วงหลังเมื่อโมเดลใช้มากเกินไป โครงสร้างนี้ก็ถูกตีตราว่าเป็น งานเขียนที่แย่ ทั้งที่คุณค่าของเครื่องมือเชิงวาทศิลป์ขึ้นอยู่กับเนื้อหาที่มันบรรจุอยู่
- เครื่องมือตรวจจับ AI และเครื่องมืออย่าง Grammarly พยายามจับรูปแบบเหล่านี้ จนก่อให้เกิด ความย้อนแย้งที่มนุษย์ต้องเขียนใหม่เพื่อให้เครื่องเขียนเหมือนมนุษย์
- มีการชี้ว่า RLVR (reinforcement learning with verifiable rewards) เป็นสาเหตุหนึ่งของการแพร่กระจายของโครงสร้างนี้ โดยเชื่อมโยงกับวิธีที่ภาษาซึ่งโมเดลใช้ตอนหาคำตอบได้ถูกเสริมแรง
- หากเราทำให้รูปแบบภาษากลายเป็นเป้าหมายในการประเมิน ภาษาอาจเลิกเป็นภาษาที่ดีตาม กฎของกูดฮาร์ต (Goodhart's law) และแทนที่จะพึ่งการตัดสินของเครื่อง เราควรคิดอย่างวิพากษ์มากกว่า
โครงสร้างปฏิเสธเพื่อเปรียบเทียบและกระแสต้านกลับ
- โครงสร้าง negative parallelism (การเปรียบเทียบเชิงปฏิเสธ) ที่ LLM ดึงดูดใจมีหน้าที่สร้างความต่าง และมีประโยชน์อย่างยิ่งเมื่อต้องจัดกรอบสมมติฐานใหม่ เช่น "คุณคิดว่าเป็นแบบนั้น แต่จริง ๆ แล้วเป็นแบบนี้"
- โครงสร้างนี้แพร่หลายบนโซเชียลมีเดีย โดยเฉพาะ LinkedIn และกลายเป็นชนวนของกระแสต้านใน สงครามกับการผลิตภาษาด้วยระบบอัตโนมัติ
- การใช้ em-dash, คำอย่าง delve, quietly, genuinely, รวมถึงการเรียงรายการ 3 ข้อ มักถูกสงสัยว่าเป็นร่องรอยของบอต
- แม้หลายคนจะมองว่าโครงสร้างนี้เป็นงานเขียนที่แย่เพราะโมเดลยุคใหม่ใช้มากเกินไป แต่ประโยคของ JFK ที่ว่า "อย่าถามว่าประเทศจะให้อะไรคุณได้บ้าง แต่จงถามว่าคุณจะทำอะไรให้ประเทศได้บ้าง" ก็ใช้กลวิธีเดียวกัน และไม่มีใครเรียกมันว่าเขียนแบบขี้เกียจ
- เครื่องมือเชิงวาทศิลป์จะดูขี้เกียจหรือเปี่ยมแรงบันดาลใจก็ขึ้นอยู่กับสิ่งที่มันกำลังสื่อ
ความย้อนแย้งของการผลิตภาษาด้วยระบบอัตโนมัติและเครื่องมือตรวจจับ
- เครื่องมือตรวจจับ AI อ้างว่าคอยค้นหารูปแบบเหล่านี้เพื่อปกป้องผู้คนจากการล่าแม่มด แต่เมื่อเอางานเขียนของตัวเองใส่ Grammarly มันกลับวิเคราะห์รูปแบบคำที่ตัวตรวจจับ AI น่าจะฟันธง แล้วเสนอคำแก้ให้
- เท่ากับมอบสิทธิ์ให้ Grammarly เขียนแทน และทำให้จังหวะกับเจตนาของงานเขียนหายไป
- Grammarly ชี้ว่ามี 27 สำนวน ในหนึ่งช่วงที่ควรแก้
- มันระบุว่า "automated language production" มีโอกาสเป็น AI สูงขึ้น 11 เท่า และเสนอให้แทนด้วย "against mechanized language synthesis"
- มันระบุว่า "align with" มีโอกาสเป็นข้อความ AI สูงขึ้น 43 เท่า และเสนอว่ามนุษย์จะใช้คำว่า "corresponds"
- เมื่อคำแนะนำเล็ก ๆ สะสมกัน ผลลัพธ์ก็คืองานเขียนที่ผู้เขียนไม่ได้เลือกเอง เครื่องที่พยายามฟังดูเหมือนมนุษย์กลับมาแทนที่เสียงของมนุษย์
- ผู้เขียนยังจ่าย $20 ให้บริษัทตรวจจับ AI อีกรายชื่อ Pangram เพื่อตรวจสอบก่อนส่งว่าบทความของตนไม่ได้ถูกสร้างโดย AI
- ไม่ใช่เพื่อรู้ว่าตัวเองไม่ได้เขียนหรือไม่ แต่เพื่อจ่ายเงินแลกกับการได้รับคำยืนยันว่าจะไม่ถูกปักธง และจึงมองว่านี่แทบเป็น การรีดไถ (extortion)
- Pangram จัดระดับความแท้จริงเป็น 4 ขั้น: high, very likely, somewhat likely, human
วัฒนธรรมที่เป็นปฏิปักษ์ต่อการให้เหตุผลและการฝึกหลังการเทรน
- สัญชาตญาณเวลาพยายามเข้าใจเครื่องคือการมองเข้าไปที่ข้อมูลฝึก แต่ข้อมูลนั้นไม่ใช่ "แค่เว็บ" อีกต่อไป เว็บเป็นเพียงวัตถุดิบที่ผ่านการแปรรูปอย่างหนัก
- Post-training คือขั้นตอนที่ใช้ปรับโมเดลให้เหมาะกับวัตถุประสงค์การออกแบบ
- RLHF (reinforcement learning from human feedback): มนุษย์จัดอันดับคำตอบ แล้วระบบก็เน้นคำตอบแบบนั้นมากขึ้น
- RLVR (reinforcement learning with verifiable rewards): แปลกกว่า และถูกสงสัยว่าเป็นเหตุให้โครงสร้าง "It's not X, it's Y" ปรากฏบ่อย
- หากปัดภาษาประเภทนี้ทิ้งว่าเป็นความขี้เกียจ ก็จะยิ่งขวางไม่ให้เราเข้าใจว่าทำไมมันถึงโผล่ไปทั่ว และอาจทำให้เราสับสนว่ากรอบภาษาที่ทรงพลังสำหรับการคิดคือความสามารถในการคิดของโมเดลเอง
- ราวกับยกเครดิตของภาษาให้กับการคำนวณ
RLVR ทำงานอย่างไร
- RLVR ไม่ได้เฝ้าดูคำแต่ละคำแล้วสั่งให้ซับโปรเซสทำงาน มันถูกฝึกมาแล้วจึงทำหน้าที่ ทำนายโทเค็น แบบโมเดลทั่วไป
- การทำนายโทเค็นคือการสร้างรายการตัวเลือกตามการกระจายเชิงคณิตศาสตร์ของข้อมูลฝึก แล้วจัดอันดับตามความเป็นไปได้เมื่อเทียบกับคำก่อนหน้า
- RLVR ทำให้โมเดลเขียนกระบวนการหาคำตอบของโจทย์คณิตศาสตร์ออกมาเป็นข้อความ จึงเป็นการจำลองภาษาที่เราใช้เวลาคิดออกเสียง
- เมื่อมันไปถึงคำตอบที่ถูก ภาษาที่ถูกใช้บ่อยที่สุดระหว่างทางก็จะถูกเน้นในโมเดลที่เสร็จสมบูรณ์ และนี่คือส่วนหนึ่งของสิ่งที่อุตสาหกรรมเรียกว่า reasoning (การให้เหตุผล)
-
อุปมาเรื่อง "สุนัขประหลาด"
- ผู้เขียนยกสถานการณ์ที่โทรศัพท์ปิดอยู่ แล้วเพื่อนถามว่า "เราเห็นสุนัขประหลาดตัวนั้นวันอะไรนะ?"
- "วันพฤหัส" → เพื่อน: "ไม่ใช่ วันพฤหัสฉันไปทำงานต่างเมือง" → "งั้นวันพุธ ตอนเราไปงานวันเกิดเพื่อนไง" → เพื่อน: "ใช่ แต่ปาร์ตี้นั้นวันศุกร์ เพราะงั้นเราน่าจะเห็นมันวันศุกร์"
- ทั้งสองคนใช้ ภาษาเพื่อไปถึงคำตอบ ที่ตรวจสอบได้จากภาพถ่าย โดยความรู้สึกแรก ("วันพฤหัส") เทียบได้กับการเดาครั้งแรกที่โมเดลเคยหยุดอยู่
- แต่ต่างจากมนุษย์สองคนที่มีความทรงจำและประสบการณ์จริง โมเดลเพียงยืดภาษายาวออกไปเรื่อย ๆ เพื่อ ลอกแบบแพตเทิร์นของการให้เหตุผล มันไม่ได้ไตร่ตรองผ่านภาษา แต่จำลองการไตร่ตรองอยู่ภายในภาษา
- ผู้เขียนยกสถานการณ์ที่โทรศัพท์ปิดอยู่ แล้วเพื่อนถามว่า "เราเห็นสุนัขประหลาดตัวนั้นวันอะไรนะ?"
- คำ high-entropy อย่าง "suppose…", "because", "consider", "alternatively", "wait" มักกระตุ้นให้เกิดวลีคาดคะเนที่ยาวขึ้น
- และพาไปสู่ภาษาที่ดึงความต่าง ข้อยกเว้น และความนามธรรมเข้ามา ซึ่งจะถูกเสริมแรงให้ปรากฏบ่อยขึ้นถ้ามันนำไปสู่คำตอบคณิตศาสตร์ที่ถูกต้อง
ทำไมเราจึงให้เหตุผล
- แก่นของบทสนทนาแบบ "สุนัขประหลาด" ไม่ใช่การระบุวันที่ในปฏิทิน แต่คือ การเปิดทางให้การรำลึก การประกอบความทรงจำขึ้นใหม่ การลิ้มรสบริบท และการทำให้ความเชื่อมโยงระหว่างเพื่อนลึกขึ้น
- นิยามของการให้เหตุผลใน LLM ตั้งอยู่บนสมมติฐานว่าประเด็นของคำถามคือการได้คำตอบ คำตอบนั้นตรวจสอบได้ และไม่มีอะไรต้องสูญเสียจากการปิดเรื่องอย่างฉับพลัน
- สิ่งนี้ส่งผลต่อการเขียนจริง ๆ เพราะเมื่อใช้ language model เพื่อทำต้นแบบความคิดอย่างรวดเร็ว เราอาจสูญเสีย ความเปิดรับต่อความสงสัย
- ความกำกวม ความสงสัย และความไม่แน่นอน สำคัญกว่าคำตอบฉับไวในบางรูปแบบของการคิด
- จึงเกิดคำถามว่าเครื่องมือตรวจจับ AI ปักธงข้อความว่าเป็นงาน AI เพราะมันทำตามแพตเทิร์นเชิงโครงสร้างของการให้เหตุผลหรือไม่ โดยทั้ง Pangram และโมเดล reasoning ต่างก็กำลังตรวจจับแพตเทิร์นเชิงโครงสร้างที่มนุษย์ใช้เมื่อเขียนและให้เหตุผล
- โมเดลของ Pangram ถูกฝึกด้วยข้อมูลก่อนปี 2021 แล้วแทรกเวอร์ชันที่ AI สร้างจากข้อความเดียวกันเข้าไปในการฝึก
- เมื่อสังคมประจานคนที่ดูเหมือนเครื่องต่อหน้าสาธารณะ ผู้คนก็จะกลัวและหลีกเลี่ยงโครงสร้างที่ตนซึมซับว่าเป็น "งานเขียนแบบ AI" เท่ากับส่งสัญญาณว่าภาษาสำหรับการให้เหตุผลคือสิ่งที่ต้องถูกเฝ้าระวัง
- สุดท้ายเราจะเลี่ยงโครงสร้างที่โมเดลเรียนรู้มาจากเรา ซึ่งก็คือ เครื่องมือที่มีประสิทธิภาพต่อการโต้แย้ง และหยิบมันออกมาใช้น้อยลงในช่วงเวลาที่เราต้องการเครื่องมือคิดเชิงวิพากษ์มากที่สุด
เมื่อการวัดกลายเป็นเป้าหมาย
- ในสหราชอาณาจักร มีการทดสอบ เครื่องมือประเมินเรียงความด้วย AI เทียบกับผู้ตรวจให้คะแนนที่เป็นมนุษย์
- ระบบนี้ให้คะแนนสูงกับความยาวเรียงความ ช่วงคำศัพท์ และความซับซ้อนของประโยค ซึ่งหลายครั้งไม่เกี่ยวข้องกับมาตรฐานทางวิชาการ
- คุณลักษณะเหล่านี้คล้ายกับลักษณะของการให้เหตุผลแบบ AI ที่อิง RLVR กล่าวคือ LLM กำลังให้คะแนนมนุษย์ตามเกณฑ์ที่วิศวกรใช้ประเมิน LLM
- กฎของกูดฮาร์ต (Goodhart's law) ในเศรษฐศาสตร์กล่าวว่า "ความสม่ำเสมอทางสถิติที่ถูกสังเกต เมื่อถูกกดดันเพื่อนำไปใช้ควบคุม มักจะพังทลาย" หรือก็คือเมื่อการวัดกลายเป็นเป้าหมาย มันก็เลิกเป็นการวัดที่ดี
- เมื่อนำมาปรับใช้กับ LLM ก็ได้ว่า "เมื่อการวัดภาษากลายเป็นเป้าหมาย ภาษาก็เลิกเป็นภาษาที่ดี"
- การประเมินรูปแบบภาษาแทนที่จะประเมินเนื้อหานั้นอันตราย และทั้งฝั่งการสร้างกับการตรวจจับต่างก็ช่วยผลักให้เป็นเช่นนั้น โดยการให้คะแนนอัตโนมัติอยู่ตรงกลางพอดี
- หากเราให้รางวัลกับรูปแบบของการให้เหตุผลแทนการให้รางวัลกับการให้เหตุผลเอง เราจะยิ่งทำให้มันน่าดึงดูดและแพร่หลายขึ้น แต่ถ้าลงโทษรูปแบบนั้น ก็เสี่ยงจะลงโทษการให้เหตุผลไปด้วย ดังนั้นแทนที่จะปล่อยให้เครื่องตัดสิน เราควร คิดอย่างวิพากษ์ ในทุกกรณี
คัดค้านการคิดแบบอัตโนมัติ
- ผู้เขียนไม่เห็นด้วยกับตรรกะเก่าแก่ที่ว่า "ถ้าไม่ได้ทำอะไรผิด ก็ไม่มีอะไรต้องกังวล"
- ตั้งแต่ปี 2018 มีการอ้างความแม่นยำ 99.8% ของระบบเฝ้าระวังอัตโนมัติ แต่ตามที่ Arvind Narayanan ชี้ ตัวเลขนี้จะสะสมทุกครั้งที่นำไปใช้ในระดับบทความวิชาการ
- ผลคืออาจมีนักศึกษามหาวิทยาลัย มากถึง 10% ถูกกล่าวหาอย่างผิด ๆ และหากนำข้อความทุกชิ้นไปตรวจ AI ก็จะเกิด false positive ในระดับที่ใหญ่กว่านั้นมาก
- โมเดลเหล่านี้ทำให้อำนาจที่แท้จริงกระจุกตัวมากขึ้น ขณะที่บริษัทต่าง ๆ สัญญาว่าจะให้เหตุผลแทนเรา
- เมื่อมีคนเอาข้อความสั้น ๆ สองบรรทัดไปโยนใส่ตัวตีความ AI แล้วโพสต์ผลลัพธ์ออนไลน์พร้อมบอกว่า "เห็นไหม คนลอกงาน" เราก็กำลังทำให้สิ่งอันตรายกลายเป็นเรื่องปกติ
- วัฒนธรรมการเขียนใหม่และการเซ็นเซอร์ตัวเองเพราะแรงกดดันจากการตรวจจับ AI คือ ตรงข้ามอย่างสิ้นเชิงกับการปกป้องการแสดงออกของมนุษย์ และเราควรต่อต้านการทำให้ความเชื่อมั่นในความสามารถของเครื่องในการชี้ว่ามนุษย์ผิดกลายเป็นเรื่องปกติ
- ถ้าการใช้ AI เขียนคือการทำให้จิตใจกลายเป็นอุตสาหกรรมในกรณีเลวร้ายที่สุด การตรวจจับ AI ก็อาจกลายเป็น ระบบเฝ้าระวังความคิด ในกรณีเลวร้ายที่สุดเช่นกัน
1 ความคิดเห็น
ความเห็นจาก Lobste.rs
ถ้าระบบอัตโนมัติบางอย่างคัดตกบทความวิจัยโดยอัตโนมัติเพียงเพราะประเมินว่า ดูเหมือน AI ก็คงเป็นฝันร้าย และก็ดีใจที่งานของฉันไม่มีปัญหาแบบนี้
ฉันชอบประเด็นที่ว่าภาษาสำหรับการให้เหตุผลไม่เพียงทำให้ผลลัพธ์ของ LLM ดูลื่นไหลและน่าเชื่อถือ แต่ยังทำให้มันทำงานได้ตั้งแต่แรก หรืออย่างน้อยก็ทำงานได้ดีขึ้นด้วย เทคนิคแบบนี้ใช้ได้ผลกับมนุษย์เช่นกัน และนั่นจึงเป็นเหตุผลว่าทำไมเทคนิคอย่าง การวิเคราะห์ 5 Whys ถึงได้ผล
ในทางกลับกัน ฉันก็ยังคิดว่าควรต้องชี้ให้เห็นงานเขียนคุณภาพต่ำที่ขี้เกียจทำอยู่ดี โดยไม่จำเป็นต้องจดจ่อแค่โครงสร้างหรือกลวิธีด้านสำนวนเท่านั้น สำหรับฉัน ปกติจะเริ่มอ่านงานเขียนโดยตั้งใจเชื่อในเจตนาดีก่อน แต่ถ้าผ่านไปไม่กี่ย่อหน้าแล้วยังจับประเด็นหลักของผู้เขียนไม่ได้ ตอนนั้นก็จะเริ่มมองหาสัญญาณแบบแผนที่พบได้บ่อย ซึ่งก็มักจะเจอค่อนข้างบ่อย
เป็นบทความที่น่าสนใจ แต่ในทางปฏิบัติฉันจะแยกระหว่าง ข้อความสำหรับใช้ในการให้เหตุผล เพื่อคิดอะไรบางอย่าง กับ ข้อความที่เสร็จสมบูรณ์ ซึ่งเขียนขึ้นเพื่อสื่อสารหลังจากการให้เหตุผลนั้นจบแล้ว
ในตัวอย่าง ระหว่างกระบวนการคิดเราอาจพูดว่า “ไม่ใช่วันพฤหัสบดี แต่เป็นวันพุธต่างหาก” แต่เวลาจะส่งข้อความให้คนอื่น เราก็คงเขียนแค่ว่า “มันคือวันพฤหัสบดี”
ดังนั้น ในแวดวงวิชาการหรือที่ทำงาน งานส่งมอบจริงอย่างรายงานหรืออีเมลคงไม่ได้ใช้ภาษาที่ใช้ตอนกำลังให้เหตุผลเกี่ยวกับหัวข้อนั้น และถ้าเขียนอย่างเหมาะสม มันก็ควรไม่ดูเหมือน LLM ร่างแรกหรือบันทึกส่วนตัวอาจเป็นแบบนั้นได้ แต่ไม่ใช่สิ่งที่จะส่งเป็นฉบับสุดท้าย
โดยส่วนตัวฉันวิจารณ์ generative AI อย่างหนัก แต่ก็คิดว่ามันมีประโยชน์ใน การเขียนเชิงวิชาการ สำหรับนักวิจัยที่ภาษาอังกฤษไม่ใช่ภาษาแม่และต้องการขัดเกลางานเขียน
เพียงแต่ต้องมีร่างที่เกือบเสร็จและมีโครงสร้างดีอยู่แล้ว ไม่ใช่แค่ใส่หัวข้อย่อยง่ายๆ เข้าไป เพราะแบบนั้นจะได้ทั้งอาการหลอนและสำนวนที่แข็งทื่อไม่เป็นธรรมชาติ
ช่วงไม่กี่ปีมานี้ฉันรีวิวบทความคุณภาพต่ำจากประเทศอย่างจีนหรืออินเดียมามาก เลยรู้สึกว่าตัวเองมีอคติอยู่บ้างต่อสำนวนภาษาอังกฤษแบบผู้ไม่ใช่เจ้าของภาษาที่คนจากประเทศเหล่านี้ใช้บ่อย เรื่องน่าเสียดายก็คือ บทความที่ดีที่สุดบางชิ้นที่ฉันเคยรีวิวก็มาจากประเทศเหล่านี้เช่นกัน
ในแง่นั้น เมื่อภาษาอังกฤษกลายเป็นภาษามาตรฐานของวงวิชาการแล้ว LLM ก็อาจช่วยยกระดับมาตรฐานทางภาษาให้สม่ำเสมอ และช่วยลด อคติในกระบวนการพิจารณา ได้ด้วย
องค์กรที่มีพนักงานจำนวนมากซึ่งภาษาอังกฤษไม่ใช่ภาษาแม่ มักจะมีที่ปรึกษาด้านการเขียนอยู่แล้ว ซึ่งไม่เพียงช่วยสร้างประโยคที่ดี แต่ที่สำคัญกว่านั้นคือช่วยตรวจว่าข้อความที่เขียนตรงกับเจตนาของผู้เขียนหรือไม่ ถ้ายกหน้าที่นี้ให้ LLM ความหมายอาจเปลี่ยนไปอย่างละเอียดอ่อน และท้ายที่สุดก็อาจให้ผลเสียกับผู้เขียนมากกว่าเดิม เพราะมีข้อผิดพลาดด้านข้อเท็จจริงหรือการถ้อยคำที่ไม่แม่นยำ
องค์กรที่ไม่ให้คำปรึกษาด้านภาษาก็เท่ากับสร้างสภาพแวดล้อมที่เสียเปรียบให้พนักงาน และนักวิจัยอิสระก็มักเสียเปรียบอยู่แล้วจากเหตุผลอื่นอีกหลายอย่าง
อคติที่ไม่รู้ตัวต่อสำนวนเฉพาะของผู้ไม่ใช่เจ้าของภาษาคงหลีกเลี่ยงได้ยากระดับหนึ่ง แต่ในการรีวิวบทความวิชาการ หากปัญหาด้านภาษาชัดเจน ฉันก็มักจะให้ประโยชน์แห่งความสงสัยในทางบวกพอสมควร และจะทิ้งข้อสั่งแก้ไขไว้กับส่วนที่ฉันเห็นว่าไม่ชัดเจนเพราะปัญหาด้านภาษา เรื่องนี้เป็นสิ่งที่ต้องคอยตรวจสอบและควบคุมตัวเอง
การใช้ภาษาที่ยังไม่คล่องอาจทำให้แนวคิด ระเบียบวิธี และผลลัพธ์พร่าเลือนไปได้บ้าง แต่ LLM สามารถทำให้งานพังได้ด้วยการเปลี่ยนมันให้กลายเป็น เนื้อหาที่ไม่ตรงกับข้อเท็จจริง อย่างที่ฉันพบในบทความที่รีวิวจริงๆ และสุดท้ายก็ต้องมีการโต้แย้งและแก้ไข หรือไม่ก็บทความอาจถูกปฏิเสธทันที มีวิธีที่ดีกว่าในการจัดการปัญหานี้ ดังนั้นจึงไม่ควรแนะนำให้ใช้ LLM
ยิ่งไปกว่านั้น เรื่องนี้ยังเป็นคำถามเปิดอยู่ว่ามันเข้าข่าย การลอกผลงาน หรือไม่ นี่เป็นข้อถกเถียงที่ใหญ่กว่ามาก และบ่อยครั้งก็ยังไม่มีฉันทามติแม้แต่ต่อข้อเท็จจริงพื้นฐาน บางการประชุมวิชาการหรือวารสารก็ห้ามการช่วยเหลือจาก LLM ด้วยเหตุนี้ จึงควรเคารพกฎเหล่านั้นด้วย
น่าเหน็บแนมตรงที่บริษัทต่างๆ ไม่เสียเวลาเลยกับการหากำไรจากความตื่นตระหนกนี้ พวกเขาใช้ LLM มาตัดสินว่างานเขียนนั้นเป็นของมนุษย์จริงหรือไม่ แล้วก็ทำเงินจากการสวมบทเป็นผู้ตัดสินว่างานเขียนแบบไหนถึงจะยอมรับได้
ผู้เขียนพูดถูกว่าถ้าผู้คนเลิกขี้เกียจดูแค่สำนวน แล้วหันไปมีส่วนร่วมกับเนื้อหาอย่างจริงจัง ปัญหาทั้งหมดนี้ก็คงหายไป