- จากการวิเคราะห์ เนื้อหาทั้งหมดของบทความ arXiv 12,750 ฉบับ พบว่าบทความล่าสุดราวหนึ่งในสามอ่านแล้วคล้ายถูกเขียนด้วยเครื่อง และอัตราการตัดสินในไตรมาสล่าสุดที่ปิดครบแล้วอยู่ที่ประมาณ 32%
- ใช้บทความปี 2021~2022 เป็นกลุ่มควบคุมที่ถือว่าเขียนโดยมนุษย์ ตั้งค่า threshold ให้สอดคล้องกับ อัตรา false positive 0.4% และใช้ PDF เวอร์ชัน 1 กับช่วงความเชื่อมั่น 95% แบบ bootstrap
- หลัง ChatGPT เปิดตัว อัตราการตัดสินเพิ่มขึ้นสองครั้ง โดยแตะจุดสูงสุดราว 39% ในต้นปี 2026 และเมื่อดู 12 เดือนล่าสุดจนถึงกรกฎาคม 2026 สาขาวิทยาการคอมพิวเตอร์อยู่ที่ 65.0% ส่วนคณิตศาสตร์อยู่ที่ 0.7%
- บทความคณิตศาสตร์ที่มีสูตร โครงสร้างทฤษฎีบทและบทพิสูจน์จำนวนมากอาจวัดได้ต่ำ เพราะต่างจากการกระจายข้อมูลฝึกของตัวตรวจจับ และยังไม่สามารถประเมินประสิทธิภาพกับ ชุดโมเดลและพรอมป์ต์แบบไม่เปิดเผย ที่ผู้เขียนใช้งานจริงได้
- ผลการตัดสิน ไม่สามารถระบุผู้เขียนหรือสัดส่วนเนื้อหาที่ AI สร้าง และไม่สามารถแยกการแก้ไขเล็กน้อยออกจากการสร้างทั้งฉบับได้ จึงควรตีความเป็นค่าขั้นต่ำของสัดส่วนสำนวนแบบเครื่อง ไม่ใช่หลักฐานเพื่อกล่าวโทษบุคคล
การออกแบบการวัดโดยใช้อัตรา false positive เป็นเกณฑ์
- ตัวเลขอย่าง “N% ของเนื้อหาเป็น AI” จะมีคุณค่าน้อยลง หากไม่ดูควบคู่กับอัตราที่ตัวตรวจจับตัดสินเอกสารมนุษย์จริงด้วย
- หากตัดสินว่าบทความใหม่ 40% เขียนด้วยเครื่อง แต่บทความก่อนยุค ChatGPT ก็ได้ผลแบบเดียวกัน 20% ตัวเลขที่ต้องอธิบายก่อนคือ อัตรา false positive 20%
- ตัวตรวจจับ ได้รับการปรับเทียบให้เหมาะกับสำนวนเชิงวิชาการ
- ที่ อัตรา false positive 0.4% เอกสารวิทยาศาสตร์จริงก่อนยุค LLM 99.6% ผ่านได้ตามปกติ
- ตรวจพบบทความวิชาการที่เขียนโดย AI ได้ 85%
- ถือว่าบทความที่ส่งในปี 2021~2022 เป็นข้อมูลคำตอบที่ถูกต้องของงานเขียนมนุษย์ และตั้งค่า threshold ให้มีเพียง 0.4% เท่านั้นที่ถูกตัดสิน
- ผลลัพธ์ทั้งหมดคือสัดส่วนของบทความที่เกิน threshold ซึ่งถูกออกแบบให้เอกสารก่อนยุค LLM อยู่ที่ 0.4%
- ปีก่อน ChatGPT ทำหน้าที่เป็นกลุ่มควบคุมในตัว
- หากแนวโน้มขาขึ้นเป็นผลเทียมที่เกิดจากตัวตรวจจับเอง ปี 2021~2022 ก็ควรออกมาสูงพอ ๆ กับปี 2026 แต่ในความเป็นจริงไม่เป็นเช่นนั้น
กลุ่มตัวอย่างและวิธีวิเคราะห์
- สุ่มตัวอย่างประมาณ 25 ฉบับต่อสาขาและต่อเดือนจากกลุ่มสาขา 10 กลุ่ม ตั้งแต่มกราคม 2023 ถึงกรกฎาคม 2026 และเพิ่มกลุ่มควบคุม 8 เดือนจากปี 2021~2022 รวมวิเคราะห์ทั้งหมด 12,750 ฉบับ
- ใช้ PDF เวอร์ชัน 1 ของแต่ละบทความ เพื่อไม่ให้ถ้อยคำที่แก้ไขในปี 2026 ปะปนเข้าไปในตัวอย่างปี 2023 ของบทความนั้น
- วิเคราะห์ เนื้อหาทั้งหมด แทนบทคัดย่อ
- มีกรณีที่บทความเดียวกันได้ต่ำกว่า 20% ในบทคัดย่อ แต่เกิน 70% ในเนื้อหา ดังนั้นการวิเคราะห์เฉพาะบทคัดย่ออาจทำให้สัญญาณอ่อนลง
- ใช้ ช่วงความเชื่อมั่น 95% แบบ bootstrap กับตัวเลขทั้งหมด
แนวโน้มโดยรวมและความต่างระหว่างสาขา
- อัตราการตัดสินคงอยู่ที่ 0.4% ในช่วงปี 2021~2022 แล้วเริ่มเพิ่มขึ้นภายในไม่กี่เดือนหลัง ChatGPT เปิดตัว
- จากนั้นเพิ่มขึ้นสองครั้ง จนไตรมาสล่าสุดที่ปิดครบแล้วอยู่ที่ประมาณ 32% และต้นปี 2026 แตะจุดสูงสุดราว 39%
- ผลลัพธ์รายสาขาในช่วง 12 เดือนล่าสุดจนถึงกรกฎาคม 2026 มีดังนี้
| สาขา | กลุ่มควบคุมก่อน LLM | อัตราการตัดสินล่าสุด | ช่วงความเชื่อมั่น 95% |
|---|---|---|---|
| วิทยาการคอมพิวเตอร์ | 0.2% | 65.0% | 59.3~70.3% |
| ชีววิทยาเชิงปริมาณ | 3.5% | 56.3% | 51.0~61.7% |
| วิศวกรรมไฟฟ้าและระบบ | 1.7% | 51.3% | 46.0~57.0% |
| เศรษฐศาสตร์และการเงิน | 2.5% | 47.0% | 41.3~52.7% |
| ฟิสิกส์ประยุกต์ | 1.3% | 34.0% | 29.0~39.7% |
| สถิติศาสตร์ | 1.8% | 31.3% | 26.0~36.7% |
| ฟิสิกส์สสารควบแน่น | 0.0% | 24.0% | 19.3~29.0% |
| ฟิสิกส์พลังงานสูง | 0.5% | 14.0% | 10.0~18.0% |
| ฟิสิกส์ดาราศาสตร์ | 0.0% | 10.7% | 7.3~14.3% |
| คณิตศาสตร์ | 0.0% | 0.7% | 0.0~1.7% |
- วิทยาการคอมพิวเตอร์สูงที่สุดที่ราว 65% ส่วนคณิตศาสตร์ต่ำที่สุดที่ราว 0.7% แต่ตัวเลขต่ำของคณิตศาสตร์ตีความได้ยาก
- คอลัมน์กลุ่มควบคุมคือค่าเฉลี่ยอัตราการตัดสินปี 2021~2022 ของแต่ละสาขา ภายใต้การตั้งค่าความไวสามแบบ
- สาขาที่เพิ่มขึ้นมากไม่ได้ตรงกับสาขาที่มีระดับกลุ่มควบคุมก่อน LLM สูง ดังนั้นจุดเริ่มต้นที่สูงเพียงอย่างเดียวไม่สามารถอธิบายการเพิ่มขึ้นภายหลังได้
ข้อจำกัดทางสถิติของกลุ่มควบคุมรายสาขา
- กลุ่มควบคุมก่อน ChatGPT ในแต่ละสาขามี 200 ฉบับ
- ที่อัตรา false positive 0.4% จะมีบทความที่ถูกตัดสินเพียง 8 ฉบับจากกลุ่มควบคุม 2,000 ฉบับใน 10 สาขา ดังนั้นสัดส่วนรายสาขาตาม threshold เดียวจึงเป็นการวัดแบบหยาบ
- ค่าขั้นต่ำของ false positive เมื่อรวมทั้งหมดประเมินได้เพียงพอ และการออกแบบงานวิจัยก็ใช้ค่านี้เป็นเกณฑ์ แต่ตัวเลขกลุ่มควบคุมรายสาขาเป็นเพียงค่าประมาณ
- หากต้องการตรึงสัดส่วนต่ำกว่า 1% ในแต่ละสาขาอย่างแม่นยำ จะต้องมีบทความควบคุมหลายพันฉบับต่อสาขา แต่ arXiv ก่อนปี 2023 ไม่มีจำนวนบทความเพียงพอตามเงื่อนไขนี้
คะแนนต่ำและจุดบอดของตัวตรวจจับ
- คะแนนต่ำอาจหมายถึง อัตราการนำ AI มาใช้ต่ำ หรืออาจสะท้อนจุดบอดของตัวตรวจจับก็ได้
- บทความคณิตศาสตร์มีสูตรและโครงสร้างทฤษฎีบท-บทพิสูจน์เป็นแกนหลัก เมื่อเอาสูตรและรายการอ้างอิงออกไป ร้อยแก้วที่เหลือมีน้อย และยังต่างจากภาษาอังกฤษเชิงวิทยาศาสตร์ที่ตัวตรวจจับเรียนรู้มา
- แม้บทความคณิตศาสตร์ที่เขียนโดยได้รับความช่วยเหลือจากโมเดลอย่างมาก ก็อาจได้คะแนนต่ำเพราะร้อยแก้วอยู่นอกการกระจายของตัวตรวจจับ
- ดังนั้นจากผลของคณิตศาสตร์เพียงอย่างเดียว จึงแยกได้ยากระหว่างอัตราการนำไปใช้ต่ำกับความไวในการตรวจจับต่ำ
- เนื่องจากสาขาที่มีสัดส่วนร้อยแก้วสูงและเข้ากับการกระจายข้อมูลฝึกของตัวตรวจจับมากที่สุดเพิ่มขึ้นมากที่สุด ปัจจัยกวนนี้เพียงอย่างเดียวจึงอธิบายแนวโน้มขาขึ้นทั้งหมดไม่ได้
- อันดับของสาขาที่ได้คะแนนต่ำควรอ่านเป็น ค่าขั้นต่ำ ของอัตราการนำ AI มาใช้
- ตัวตรวจจับมีความไวต่างกันตามแต่ละโมเดลสร้างข้อความ และไม่สามารถประเมินชุดโมเดลแบบไม่เปิดเผยกับพรอมป์ต์ที่ผู้เขียนใช้งานจริงได้อย่างแม่นยำ
- ขอบเขตการตรวจจับที่ไม่สมบูรณ์จะทำให้อัตราการตัดสินต่ำลง ดังนั้นสัดส่วนที่วัดได้จึงเป็นค่าขั้นต่ำของสัดส่วนสำนวนแบบเครื่องจริง และดูประสิทธิภาพแยกตาม generator ได้ใน คำอธิบายตัวตรวจจับ
สิ่งที่ผลการตัดสินบอกไม่ได้
- ตัวตรวจจับประเมินว่าเอกสาร อ่านแล้วคล้ายถูกเขียนด้วยเครื่องหรือไม่ โดยอาศัยอัตราความผิดพลาดที่ทราบและความน่าจะเป็นที่ปรับเทียบแล้ว
- ไม่สามารถแยกเอกสารที่แก้ไขเล็กน้อยออกจากเอกสารที่ถูกสร้างทั้งหมดได้ และคะแนนเดี่ยวไม่สามารถใช้เป็นหลักฐานกล่าวโทษบุคคลใดบุคคลหนึ่ง
- สิ่งที่วัดไม่ใช่ตัวตนผู้เขียนหรือสัดส่วนการสร้างเนื้อหา แต่เป็นสัดส่วนของสำนวนแบบเครื่อง ซึ่งรวมถึงการแก้ไขที่ใช้ AI อย่างมากด้วย
- บทความ arXiv ตรวจได้ที่ หน้าตรวจฟรี ส่วนข้อความทั่วไปตรวจได้ที่ หน้าตรวจข้อความ และไม่มีรายได้จากการดำเนินงานตัวตรวจจับ
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
บทความเวิร์กช็อป PyHPC ที่เขียนในปี 2011 ถูกตัดสินว่า เขียนโดยเครื่อง 27% และวิทยานิพนธ์ปริญญาเอกปี 2012 ได้ 40% ซึ่งต่ำกว่าค่าเกณฑ์ 42% เพียงเล็กน้อย
ตอนนี้ไม่ได้ตีพิมพ์งานวิจัยแล้ว แต่ไม่รู้ว่าเป็นเพราะฉันเขียนเหมือน LLM หรือ LLM มาเรียนรู้จากงานเขียนของฉันกันแน่ ส่วนบทความ IEEE CLUSTERS ปี 2015 ได้สูงถึง 74%
สิ่งที่อันตรายกว่าคือคนที่ไม่เข้าใจหลักการเอาผลนี้ไปฟันธงว่ามีการใช้ AI แล้วทำให้นักเรียนเสียประโยชน์อย่างร้ายแรง ซึ่งตอนนี้เกิดขึ้นแล้วในทุกระดับการศึกษา
มีการวิเคราะห์ ข้อความเต็มของบทความ arXiv 12,750 ฉบับ ในช่วงปี 2021~2026 เพื่อดูสัดส่วนที่ถูกตัดสินว่าเขียนโดยเครื่อง และดูว่าหลัง ChatGPT เปิดตัวแล้วเพิ่มขึ้นมากแค่ไหน
ตัวตรวจจับถูกปรับจูนโดยตั้งใจเพื่อหลีกเลี่ยง false positive ทำให้อัตราตรวจจับก่อนยุค ChatGPT อยู่ที่ราว 0.4% ในเดือนมกราคม 2026 บทความทั้งหมดราว 39% และสูงสุด 65% ในสาขาวิทยาการคอมพิวเตอร์ถูกตัดสินว่า AI เขียน ส่วนคณิตศาสตร์แทบไม่ขยับจาก 0.7% แต่ก็อาจเป็นเพราะจับสไตล์การเขียนที่เน้นการพิสูจน์ไม่ได้ นี่เป็นเพียงค่าประมาณของสัญญาณเชิงสถิติ ไม่ใช่หลักฐานว่าผู้เขียนคนใดคนหนึ่งใช้ AI และคำว่าเขียนโดยเครื่องอาจรวมถึงการช่วยแก้ไขอย่างหนักโดย AI ด้วย
อาจมีการรั่วไหลแบบเอาเอกสารก่อนยุค ChatGPT เข้าไปเป็นข้อมูลฝึกฝั่งบวกก็ได้
เลยสงสัยว่าแม้ก่อน LLM จะถือกำเนิด ก็มีผู้เขียนจำนวนน้อยมากที่เขียนเหมือน LLM อยู่แล้วหรือไม่
ไม่อยากทำให้เซิร์ฟเวอร์รับภาระหนักด้วยการตรวจบทความจำนวนมาก
การใช้ LLM ในองค์กรนั้นมี แรงจูงใจเชิงทฤษฎีเกม ทำงานอยู่จริง
นักพัฒนาใช้ Claude Code แบบจัดเต็มเพื่อผลิตโค้ดและเอกสารจำนวนมากที่ดูเหมือนดีกว่าเดิม ส่วนผู้บริหารก็มองไม่เห็นข้อเสียในทันทีจึงสนับสนุนมัน แม้คุณภาพเชิงโครงสร้างจะยังไม่แน่นอน แต่ตัวชี้วัดที่ผิดพลาดกลับมองเห็นแค่ปริมาณผลงาน ดังนั้นกว่าจะตัดสินได้ว่าคุ้มไหมที่จะแลกกับภาวะถดถอยของความสามารถในการคิด ก็อาจต้องใช้เวลาหลายปี ใครที่ไม่ใช้ LLM ทั้งวันก็แทบเลี่ยงไม่ได้ที่จะเสียเปรียบด้านปริมาณงาน และแรงกดดันแบบเดียวกันนี้ก็น่าจะเกิดในวงการวิทยาศาสตร์ที่ให้ความสำคัญกับจำนวนงานตีพิมพ์ด้วย
ถึงอย่างนั้นก็ยังมีสตาร์ตอัปและผู้ช่วยศาสตราจารย์ใหม่จำนวนมากที่ชูว่า “AI” จะบุกเบิกพื้นที่ใหม่ แต่ในทางปฏิบัติวิธีที่ได้ผลที่สุดกลับใช้ machine learning มากกว่า LLM
แม้จะสั่งซ้ำ ๆ ให้ลดความซ้ำซ้อนและย่อโค้ด ผลลัพธ์ก็ยังใกล้เคียงกับ “ถึงจะแย่แต่ก็ยังมีประโยชน์สำหรับฉัน” ประโยชน์ระดับนี้ก็เมินไม่ได้ แต่ก็กลัวผู้บริหารที่เห็นโถส้วมล้นแล้วเข้าใจผิดว่ามูลค่าถูกเพิ่มจนสูงสุด
คำถามที่ยากจริง ๆ คือ คุณภาพเมื่อเทียบกับเวลาและต้นทุนที่投入 และตอนนี้มองว่าโค้ดที่ opus/fable สร้างยังคุ้มพอเมื่อเทียบกับค่าสมัครสมาชิก
ตัวเครื่องมือใหม่เองก็ดี แต่ไม่ชอบการถูกบังคับให้ใช้เครื่องมือบางอย่างเพื่อให้ตัวชี้วัดการบริหารดูดี
ถ้ามนุษย์ต้องพึ่ง AI บริษัทก็จะมีอิทธิพลมากพอจะเปลี่ยนกฎหมายให้เป็นประโยชน์กับตัวเอง ต่อให้ประชาชนคัดค้านศูนย์ข้อมูลขนาดมหึมาในเมือง บริษัทก็สามารถกดดันได้ว่าหากไม่มี AI จากศูนย์ข้อมูลนั้น ผู้คนก็ทำอะไรไม่ได้ ดังนั้นแก่นสำคัญอาจเป็นการทำให้มนุษย์ไร้ความสามารถและต้องพึ่งพา
เช่นเดียวกับวิธีตรวจจับ AI ทุกแบบที่ใช้แค่ข้อความ ความแม่นยำ น่าเป็นห่วง
โดยเฉพาะขั้นตอนที่เอาคะแนนจากตัวตรวจจับสามตัวมารวมกันตอนท้าย ไม่รู้จะมั่นใจได้อย่างไรว่ามันไม่สร้างอคติ และเพราะไม่มีซอร์ส จึงยากทั้งต่อการตรวจสอบวิธีทำงานหรือทำวิจัยซ้ำ งานวิจัยส่วนตัวที่เขียนเองก่อนยุค LLM ก็ยังได้คะแนนสูง และในบทความอื่น ๆ ก็มีกรณีที่แทบทุกประโยคถูกทำเครื่องหมายเป็นสีแดงว่า “machine-leaning” แต่กลับไม่ส่งผลต่อคะแนนเลย ข้อความเดียวกันยังได้คะแนนต่างกันมากเพียงเพราะมีหรือไม่มีการจัดรูปแบบ LaTeX สรุปแล้วควรได้ข้อสรุปว่า “การตรวจจับข้อความที่สร้างขึ้นนั้นยาก และไม่ควรยอมรับผลเพียงเพราะมันยืนยันสมมติฐานของเรา” ข้อความนี้เองก็เพิ่งเขียนสด ๆ แต่กลับได้คะแนนว่าเขียนโดยเครื่องสูง
จากการพิจารณาปัญหาเดียวกันในบริบทวิชาการ ได้ข้อสรุปว่า เป็นไปไม่ได้ที่จะตรวจจับการเขียนโดย AI ได้อย่างน่าเชื่อถือ โดยดูจากตัวบทเพียงอย่างเดียว
หากมนุษย์กับ LLM เขียนย่อหน้าเดียวกันออกมาเหมือนกันโดยบังเอิญ ก็ไม่มีวิธีแยกอินพุตเดียวกันนั้นว่าเป็นข้อความสังเคราะห์หรือข้อความที่มนุษย์เขียน ที่จริงมีร่องรอยเฉพาะของ LLM อยู่ แต่สิ่งเหล่านี้เปลี่ยนไปตามช่วงเวลาและตามโมเดล จึงแยกข้อความของมนุษย์ที่ดูเหมือนสังเคราะห์ออกจากข้อความสังเคราะห์ที่ดูเหมือนมนุษย์ไม่ได้ แนวทางที่น่าสนใจกว่าคือการวิเคราะห์ว่าในคลังข้อเขียนเรียงความนั้น คำศัพท์ ลักษณะทางภาษา style embedding, general embedding, การพิมพ์ผิด ข้อผิดพลาด และบรรณานุกรม เปลี่ยนไปอย่างไรหลังการมาถึงของ LLM ในระดับกลุ่มเห็นได้ชัดว่าสไตล์การเขียนเชิงวิชาการเปลี่ยนไป แต่ยากที่จะตามหาสาเหตุ
อย่างที่ชอมสกีกล่าวไว้ เกือบทุกประโยคที่มนุษย์พูดหรือเข้าใจคือการจัดคำที่เพิ่งปรากฏขึ้นเป็นครั้งแรกในประวัติศาสตร์ของจักรวาล ความยากที่ใหญ่กว่าคือ LLM ไม่ได้สร้างเพียงรูปแบบตายตัวแบบเดียว และความหนาแน่นของข้อมูลในข้อความก็ต่ำ ทำให้ต้องใช้ข้อความปริมาณมากพอสมควรหากจะทดสอบทางสถิติด้วยช่วงความเชื่อมั่นที่แคบ
หาก 65% ของงานวิจัยที่อ่านมีลักษณะการเขียนแบบ AI ก็จะได้รับ อิทธิพลของสไตล์ AI แม้จะไม่ได้ใช้ AI โดยตรงก็ตาม
โดยเฉพาะกับนักวิจัยหน้าใหม่ที่ยังอยู่ระหว่างการสร้างสไตล์การเขียนของตนเอง มีแนวโน้มจะเห็นผลชัดกว่า
หากมนุษย์จะรักษาแพตเทิร์นไวยากรณ์ของ AI ไว้เป็นเวลานาน ก็ต้องเข้าใจแพตเทิร์นที่ปัจจุบันยังแทบไม่มีใครรู้ได้ครบถ้วน และต้องปรับแต่ละอนุประโยคอย่างละเอียดราวกับการปลอมภาพวาด อีกทั้งสไตล์ AI เองก็เปลี่ยนไปด้วย โดย delve ซึ่งเคยเป็นสัญญาณเด่น ลดลงอย่างมากหลังกลางปี 2024 จนตอนนี้แทบหายไปจากเอาต์พุตของ LLM แล้ว งานเขียนของมนุษย์ที่เรียนตามสิ่งนี้จึงกลับยิ่งคล้ายสไตล์ AI ปัจจุบันน้อยลง
ก่อนยุค AI ก็มีคนที่สร้างข้อความขยะอยู่แล้ว
ในฐานะที่ไม่ใช่เจ้าของภาษาอังกฤษ จึงไม่แปลกใจกับผลที่ว่าบทความส่วนใหญ่ถูกเครื่องตรวจจับ AI จับได้
ไม่ใช่เพราะให้ LLM เขียนทั้งบทความ แต่เพราะยังไม่คุ้นกับสไตล์การเขียนเชิงวิทยาศาสตร์ ขณะที่บรรณาธิการอเมริกันกลับคาดหวังเช่นนั้น เราสามารถเขียนแนวคิดด้วยประโยคพื้นฐานก่อน แล้วใช้ LLM ช่วยปรับให้ลื่นไหลขึ้นได้ ถ้าเขียนแต่ละย่อหน้าด้วยตัวเองแล้วค่อยขัดเกลาให้ดูเป็นวิทยาศาสตร์มากขึ้น ต่อให้เนื้อหาทั้งหมดเป็นของตนเอง ก็อาจยังถูกตัดสินว่าเป็นข้อความที่ LLM สร้าง ในทางกลับกัน หากขัดเกลาภาษาอังกฤษได้ดีพอ ก็ทำให้งานที่ LLM เขียนดูเหมือนงานมนุษย์ได้เช่นกัน
ถ้าต้องเขียนงานวิจัยอีกครั้งก็คงไม่คิดจะเขียนทั้งหมดด้วยมือตัวเอง และตราบใดที่ตรวจสอบว่าเนื้อหาตรงกับเจตนาและแก้ส่วนที่เขียนผิด ก็ไม่มีปัญหา แม้งานวิจัยที่เจ้าของภาษาอังกฤษเขียนเอง หลายชิ้นถ้านำมาเขียนใหม่ด้วย LLM ก็น่าจะดีขึ้นมาก
รายละเอียดการใช้ถ้อยคำในแต่ละย่อหน้าส่งผลอย่างมากต่อสิ่งที่จะสื่อและวิธีสื่อ จึงยากจะมองว่าเป็นบทความของตนเองอย่างสมบูรณ์ ตั้งแต่แรกก็ยังน่าสงสัยด้วยว่าทำไมต้องมุ่งหาสไตล์ที่ดูเป็นวิทยาศาสตร์ งานที่เขียนดีที่สุดมักอ่านลื่นเหมือนการสนทนาโดยไม่วางท่า เข้าใจได้ว่ามีแรงกดดันจากภายนอก แต่ประโยคพื้นฐานของผู้เขียนเองน่าจะดีกว่าประโยคจาก LLM
งานวิจัยแบบนี้มีส่วนที่ยืดยาวและซ้ำสูตรสำเร็จอยู่มาก จึงอาจเป็นไปได้ว่า AI เขียนไป 90% และมนุษย์เขียนเฉพาะเนื้อหาใหม่จริง ๆ กับคำอธิบายเรื่องความสำคัญเท่านั้น
บางทีวิธีแบบนี้อาจกำลังแพร่หลายอยู่จริงก็ได้
บางคนอาจเป็นศิลปินด้านการเขียน แต่ส่วนใหญ่ไม่ใช่
เป็นไปได้ว่าเครื่องตรวจจับเพียงแค่เรียนรู้ว่า คำและคำศัพท์เฉพาะทาง ที่เพิ่มขึ้นในวรรณกรรมหลังปี 2022 เป็นลักษณะของ AI
เช่น LLM และคนที่ใช้มันมักพูดถึง LLM บ่อย จนสำนวน “large language model” เองอาจถูกตัดสินว่าให้ความรู้สึกแบบ AI ได้ วลีนี้พบได้น้อยก่อนปี 2022 แต่ปรากฏมากในปัจจุบันและในข้อความที่ AI สร้าง ทว่าไม่ใช่ลักษณะที่ดีในการแยกงานเขียนของมนุษย์ยุคปัจจุบันออกจากงานเขียนของ AI ในกลุ่มควบคุมที่พอจะมองได้อย่างสมเหตุสมผลว่าแทบไม่มีข้อความที่สร้างด้วย LLM แม้หลังปี 2023 อัตราการตรวจจับก็ควรต่ำกว่า arXiv มาก ส่วน Nature และ Science ก็คงไม่ปลอดทั้งหมด แต่หากตรวจไปจนถึงปี 2026 กราฟการเพิ่มขึ้นก็ควรต่ำกว่า arXiv มาก
เมื่อต้องอัปเดตเครื่องตรวจจับก็จะดูวิธีบรรเทาปัญหานี้ แต่การหา ชุดข้อมูลสะอาดหลังปี 2023 นั้นยาก และถ้าสร้างด้วยเครื่องตรวจจับ AI ตัวอื่น สุดท้ายก็ย่อมไม่อาจดีกว่าเครื่องตรวจจับนั้นเองได้
เมื่อถามนักวิจัยหลายคนที่ทำงานด้านโปรโตคอลฉันทามติและเรื่องคล้ายกันว่า ระหว่างการเขียนบทความกับการทำวิจัย ชอบอะไรมากกว่า เกือบทุกคนเลือก ตัวงานวิจัยเอง
ถ้าชอบการเขียนมากกว่า ก็คงเลือกอาชีพอื่นไปแล้ว หาก LLM ช่วยเปลี่ยนแผนภาพงานวิจัย โค้ด ฯลฯ ให้เป็นบทความหรือร่างบทความได้ จำนวนบทความวิจัยคุณภาพดีก็อาจเพิ่มขึ้นด้วยซ้ำ เพราะแรงเสียดทานจากความรู้สึกว่า “อยากทำวิจัย แต่การเขียนบทความยุ่งยาก” จะลดลง หากมองความสามารถด้านวิจัยและความเกลียดการเขียนเป็นสองแกน LLM อาจดึงผลงานออกมาจากนักวิจัยที่มีค่าสูงทั้งสองด้านได้ แม้บทความแย่ ๆ จะเพิ่มขึ้นด้วย แต่ในระยะยาวก็มีความเป็นไปได้ว่า ผลสุทธิเป็นบวก