- ในบรรดา 22 บทความ ที่ตรวจใน TerraBytes ของ NeurIPS·WACV·ECCV มี 15 บทความ (68%) ที่พบการอ้างอิงหรือรายชื่อผู้เขียนที่ถูกปลอมแปลง หรือประโยคที่เห็นชัดว่า LLM สร้างขึ้น และแม้แต่บทความสองฉบับที่ถูกรายงานเรื่องผู้เขียนปลอมก็ยังถูกคัดเลือกเป็นการนำเสนอแบบปากเปล่าโดยมีเงื่อนไขให้แก้ไขบรรณานุกรม
- มีการประเมินว่าในวรรณกรรมวิชาการปี 2025 มี การอ้างอิงหลอนราว 146,900 รายการ และเมื่อไล่ตามจาก bioRxiv ไปยังฉบับตีพิมพ์ พบว่า 85.3% ของการอ้างอิงหลอนยังคงอยู่แม้ผ่านการพิจารณาแล้ว
- ปัญหานี้ลามจากการส่งบทความไปถึงการรีวิว โดย 21% ของรีวิว ICLR 2026 ถูกตัดสินว่าเป็นงานที่ AI สร้างทั้งหมด และที่ ICML 2026 ก็ตรวจพบการใช้ LLM ในรีวิวราว 795 ฉบับ ที่เขียนโดยผู้รีวิวซึ่งถูกห้ามใช้ LLM
- ปัญหาไม่ได้อยู่ที่การใช้ LLM เอง แต่คือการ ส่งผลลัพธ์ที่ไม่ผ่านการตรวจสอบ โดยความผิดพลาดในบรรณานุกรม ตัวเลขในเนื้อหาที่ไม่ตรงกับตาราง การโหมโปรโมตผลงานเกินจริง และส่วนอภิปรายที่เอาแต่ทวนตัวชี้วัด ล้วนเป็นสัญญาณว่าต้นฉบับยังไม่ได้รับการทบทวนอย่างเพียงพอ
- มีการเปิดเผย
bib-auditที่ใช้เทียบบรรณานุกรมกับหลายหน่วยงานทะเบียน แต่เพราะมันส่งบางส่วนของต้นฉบับที่ยังไม่เผยแพร่ไปยัง LLM แบบโฮสต์ ผู้รีวิวจึงต้องตรวจสอบนโยบายความลับและการใช้ LLM ของแต่ละงานประชุมก่อน
ขนาดของปัญหาที่พบจากการรีวิว 22 บทความ
- ผู้รีวิวสองคนได้รีวิวรวม 22 บทความ ตลอดช่วงฤดูร้อนในเวิร์กช็อปภูมิสารสนเทศ TerraBytes ของ NeurIPS, WACV และ ECCV
- ใน 15 บทความ (68%) พบร่องรอยชัดเจนของการสร้างด้วย LLM เช่น การอ้างอิงที่แต่งขึ้นทั้งหมด รายชื่อผู้เขียนของงานจริงที่ถูกดัดแปลง ศัพท์เทคนิคหลอน ประโยคไร้ความหมาย หรือการอ้างอิงที่ไม่เกี่ยวข้อง
- ผู้รีวิวคนหนึ่งพบปัญหาแบบนี้ใน 6 จาก 11 บทความ (55%) และอีกคนพบใน 9 จาก 11 บทความ (82%)
- ผลลัพธ์แยกตามงานประชุมเป็นดังนี้
- แทร็ก NeurIPS Datasets and Benchmarks: 2 จาก 5 บทความ
- แทร็ก NeurIPS Position Paper: 2 จาก 2 บทความ
- TerraBytes: 1 จาก 2 บทความ และ 4 จาก 5 บทความตามลำดับ
- WACV: ผู้รีวิวทั้งสองคนพบ 3 จาก 4 บทความ
- มีบทความที่ควรถูก desk reject เพียงจากปัญหาการอ้างอิงจำนวน 5 และ 9 บทความตามลำดับ
- บทความ WACV สองฉบับเปลี่ยนชื่อผู้เขียนของงานจริงเป็นชื่อปลอมตั้งแต่ รายการแรก ในบรรณานุกรม
- บทความ NeurIPS ฉบับหนึ่งมีศัพท์เทคนิคหลอนหรือไร้ความหมายยาวตลอด 53 หน้า จนการตรวจบรรณานุกรมแทบไม่มีความหมาย
- Position Paper ของ NeurIPS สองฉบับถูกตัดสินว่าทั้งหมดสร้างโดย LLM และใน 4 จาก 5 บทความที่ส่งให้ TerraBytes ก็มีการอ้างอิงปลอมหรือผู้เขียนปลอม
การอ้างอิงหลอนที่แพร่กระจายไปทั่ววรรณกรรมวิชาการ
- การวิเคราะห์ของ Nature ในเดือนเมษายน 2026 ยืนยันว่าอย่างน้อยหลายหมื่นงานตีพิมพ์ในปี 2025 อาจมีบรรณานุกรมที่ AI สร้างขึ้นอย่างผิดพลาดปะปนอยู่
- การตรวจสอบของ Zhao และคณะใน arXiv·bioRxiv·SSRN·PubMed Central ประเมินว่ามีการอ้างอิงหลอนราว 146,900 รายการ ในปี 2025 เพียงปีเดียว
- ปัญหาไม่ได้กระจุกอยู่กับผู้กระทำผิดเพียงไม่กี่ราย แต่กระจายบาง ๆ อยู่ในบทความจำนวนมาก
- พบน่าจะมากที่สุดในนักวิจัยช่วงต้นอาชีพและทีมขนาดเล็ก
- เมื่อติดตามฉบับตีพิมพ์ของ preprint บน bioRxiv ที่มีการอ้างอิงหลอน พบว่า 85.3% ยังคงอยู่เหมือนเดิม
- การตรวจสอบบทความชีวการแพทย์ 2.5 ล้านฉบับของ The Lancet พบว่าสัดส่วนบทความที่มีบรรณานุกรมปลอมอย่างน้อยหนึ่งรายการเพิ่มขึ้น 6 เท่าในเวลา 2 ปี
- จาก 1 ฉบับต่อ 2,828 ฉบับในปี 2023 เป็น 1 ฉบับต่อ 458 ฉบับในปี 2025
- และแตะ 1 ฉบับต่อ 277 ฉบับในช่วงต้นปี 2026
- การวิเคราะห์การอ้างอิงหลอน 100 รายการในบทความที่ตีพิมพ์ใน NeurIPS 2025 พบว่าการอ้างอิงทั้งหมดผ่านผู้เชี่ยวชาญรีวิว 3–5 คนมาแล้ว
- บทความที่มีการอ้างอิงเหล่านี้มี 53 ฉบับ คิดเป็นราว 1% ของงานที่ได้รับคัดเลือก และยังคงอยู่ใน proceedings จนถึงตอนนี้
การประเมินโดยเพื่อนร่วมวงการที่ AI เขียน และความเสี่ยงต่อการถูกชักจูง
- การวิเคราะห์ ICLR 2026 ของ Pangram ตัดสินว่ารีวิว 15,899 ฉบับ หรือ 21% ถูกสร้างโดย AI ทั้งหมด
- มากกว่าครึ่งของรีวิวทั้งหมดมี AI เข้ามาเกี่ยวข้องในรูปแบบใดรูปแบบหนึ่ง
- Organization Science รายงานว่าหลังการมาของ ChatGPT จำนวนการส่งบทความเพิ่มขึ้น 42% และวัดได้ว่าปัจจุบันมีการใช้ AI ในการประเมินโดยเพื่อนร่วมวงการมากกว่า 30%
- การตรวจจับ prompt injection ใน ICML 2026 พบการใช้ LLM ในรีวิวราว 795 ฉบับที่เขียนโดยผู้รีวิว 506 คนใน Policy A ซึ่งห้ามใช้ LLM
- คิดเป็นประมาณ 1% ของรีวิวทั้งหมด
- ที่ NeurIPS ก็พบทั้งรีวิวด้านจริยธรรมที่สร้างโดย AI อย่างชัดเจน และ rebuttal ที่สร้างโดย AI หลายฉบับ
- รีวิวที่สร้างด้วย AI สามารถ เขียนบทคัดย่อใหม่ในเชิงโจมตี เพื่อดันคะแนนประเมินให้สูงขึ้นได้ โดยไม่ต้องเปลี่ยนเนื้อหาวิทยาศาสตร์ของบทความ
- การทดลองของ Li และคณะ พบว่าการโจมตีที่รุนแรงที่สุดสำเร็จประมาณ 38%
- ในสเกล 10 คะแนน คะแนนรับบทความของผู้รีวิว Gemini 3 Flash สูงขึ้น 1.31 คะแนน และของผู้รีวิว GPT 5.4 Mini สูงขึ้น 0.88 คะแนน
- ผู้โจมตีไม่จำเป็นต้องรู้ด้วยซ้ำว่าใช้โมเดลรีวิวตัวใด
การปลอมแปลงและสัญญาณบ่งชี้ที่พบจากการรีวิวจริง
- กรณีแย่ที่สุดคือบทความส่งเข้าประชุมสองฉบับที่ยังคงชื่อประชุม ชื่อบทความ และผู้เขียนคนอื่นของงานจริงไว้ แต่เปลี่ยนเฉพาะผู้เขียนที่ผู้รีวิวรู้จักเป็นชื่อสมมติที่คล้ายกัน
- แม้ผู้รีวิวจะแนะนำให้รีเจกต์และรายงานตรงต่อผู้จัดงาน แต่ทั้งสองฉบับก็ยังถูกคัดเลือกเป็น การนำเสนอแบบปากเปล่าโดยมีเงื่อนไขให้แก้บรรณานุกรม
- บทความ WACV ที่อ้างถึง SatMAE ระบุผู้เขียนว่า “Yuyang Cong, Saurabh Khanna, Chen Meng, et al.”
- แต่รายชื่อผู้เขียนจริง ขึ้นต้นด้วย Yezhen Cong, Samar Khanna, Chenlin Meng
- บทความ NeurIPS ความยาว 53 หน้าและ 40 หน้า มีทั้งศัพท์เทคนิคหลอนและบรรณานุกรมที่ปลอมแปลง และหนึ่งในนั้นยังทิ้ง บันทึกภายในของ LLM ไว้ข้างการอ้างอิงหลายรายการ
- ทั้งผู้เขียนปลอมและบรรณานุกรมปลอมทั้งหมดล้วนบ่งชี้ว่าต้นฉบับยังไม่ได้รับการตรวจทานอย่างเพียงพอ
- จึงไม่ชัดเจนว่าผู้เขียนได้อ่านงานที่อ้างจริงหรือไม่ อ้างในบริบทที่ถูกต้องหรือไม่ และส่วนอื่นของบทความ โค้ด หรือชุดข้อมูลยังเชื่อถือได้หรือไม่
- มุมมองคือบทความที่มีบรรณานุกรมหลอนไม่พร้อมสำหรับการตอบรับและควรถูก desk reject
-
สัญญาณที่บ่งชี้ว่ามีโอกาสสูงว่าเขียนด้วย LLM
- สัญญาณด้านสำนวนที่พบบ่อยคือวลีเปรียบเทียบอย่าง “It’s not X, it’s Y”, “The real X is Y”, การใช้ ตัวหนาและ em dash มากเกินไป ประโยคหนาแน่นที่ตีความยาก และการขายผลงานเกินจริง
- สัญญาณที่แนบเนียนกว่าคือตัวเลขหรือเมตริกในเนื้อหาไม่ตรงกับตาราง
- ความไม่ตรงกันแบบนี้เกิดขึ้นได้เมื่อรันการทดลองใหม่แล้วไม่ได้สั่งเอเจนต์ให้อัปเดตหรือตรวจสอบตัวเลขทั้งหมด
- Claude มีแนวโน้มอัดตัวเลขที่ควรอยู่ในภาคผนวกหรือโค้ดลงมาในเนื้อหา และในส่วนอภิปรายก็มักเพียงทวนเมตริกจากตาราง
- โมเดลที่ปรับเฉพาะทางแล้วเรียกผลดีขึ้นไม่ถึง 1% ว่าเป็น SOTA โดยไม่มีค่าเฉลี่ยหรือส่วนเบี่ยงเบนมาตรฐาน สมการซับซ้อนที่ใส่มาแทนการอ้างอิง และ ablation ที่ควรอยู่ภาคผนวก ก็เป็นสัญญาณเตือนเช่นกัน
งานรีวิวที่เปลี่ยนไป
- ขั้นตอนรีวิวเปลี่ยนไปเป็นการ ไล่ดูบรรณานุกรมก่อนทันที หลังอ่านบทคัดย่อ และรีบเช็กว่าทั้งบทความเป็นผลลัพธ์จาก LLM หรือไม่
- เวลาที่ใช้ตามหาร่องรอย LLM เพิ่มขึ้น ทำให้สมมติฐานว่าบทความถูกส่งมาด้วยความสุจริตก็อ่อนลง
- รู้สึกว่าจำนวนบทความที่น่าสนใจ เขียนโดยมนุษย์ และอ่านได้ดี ลดลงอย่างมาก
- อย่างไรก็ดี หากไม่นับบรรณานุกรมหลอน ปัญหาหลายอย่างก็คล้ายกับตอนรีวิวบทความคุณภาพต่ำที่มนุษย์เขียนในอดีต
- การใช้ LLM เองไม่ใช่เกณฑ์ตัดสินในการรีวิว
- ต่อให้ LLM ช่วยเขียน หากงานวิจัยน่าสนใจ การทดลองใช้ได้จริง และทำซ้ำได้ ก็ไม่ใช่ปัญหา
- ปัญหาคือการส่งผลลัพธ์จาก LLM ที่ยังไม่ตรวจสอบแล้วให้ผู้รีวิวช่วยป้อน feedback แทน
- เมื่อหลายงานประชุมบังคับให้ผู้ส่งบทความต้องรีวิว 4–5 ฉบับ ภาระการรีวิวแบบไม่รับค่าตอบแทนก็เพิ่มขึ้น
- ผู้รีวิวต้องสละเวลาช่วงกลางคืนหรือวันหยุด และหากมาพบการอ้างอิงหลอนทีหลัง เวลานั้นก็สูญเปล่า
- หากต้องการเรียนรู้จากรีวิว นักวิจัยควรอ่านและทบทวนงานของตัวเองให้เพียงพอก่อน
วิธีใช้ LLM ในการวิจัยและการเขียน
- ใช้ LLM อย่าง Claude ทุกวัน แต่ผลลัพธ์ต้อง ตรวจสอบ แก้ไข และเขียนใหม่ เสมอ
- ใช้ Claude ร่างการทบทวนวรรณกรรม แล้วกลับไปอ่านต้นฉบับและโพสต์ต้นทางด้วยตนเอง
- หาแหล่งงานวิจัยต้นฉบับที่บล็อกอ้างถึงมาแทน จัดโครงข้อมูลใหม่ และตัดรายละเอียดที่ไม่จำเป็น
- ก่อนส่งบทความจะอ่านต้นฉบับทั้งหมดอย่างละเอียดและตรวจบรรณานุกรมด้วยมือ
- ให้ Claude ช่วยหาจุดกำกวม แล้วให้สัมภาษณ์แบบคำถามปรนัยเพื่อให้ตรงกับเจตนา
- แม้จะรัน
bib-auditแล้ว ก็ยังตรวจแต่ละรายการในฐานข้อมูลอย่าง Google Scholar, IEEE, CVF ด้วย - และยังนำ BibTeX จริงใน Zotero ที่สะสมมาหลายปีกลับมาใช้ซ้ำ
- ขอ feedback จากคนอื่นตั้งแต่ช่วงต้น และหากจำเป็นก็ยอมรื้อโครงงานเขียนใหม่ทั้งฉบับระหว่างทำร่าง
- มองว่างานเร่งรีบใกล้เดดไลน์เป็นสาเหตุสำคัญที่ทำให้เกิดบทความ LLM คุณภาพต่ำ
- สัญชาตญาณด้านการวิจัย ที่ก่อตัวมาก่อนยุค LLM ยังสำคัญ และกังวลกับสภาพแวดล้อมที่นักวิจัยรุ่นใหม่ผลิตงานวิจัยโดยไร้ทิศทาง
-
วิธีควบคุมสไตล์การเขียนของ Claude
- ประโยคที่เอเจนต์เขียนมักแน่นเกินไปและไหลลื่นไม่ดี จึงจำกัดการใช้ em dash และ semicolon
- Fable 5 มีแนวโน้มใช้ colon มากเกินแทน em dash และสร้างสำนวนแบบการตลาด B2B SaaS
- เป้าหมายคือประโยคที่ไม่ก้าวร้าวเกินไป ไม่เรียบจนเกินไป และคนอ่านนอกสาขาก็ยังอ่านเข้าใจ
- สกิลที่ใส่กฎระหว่างงานเขียนวิทยาศาสตร์กับ ASD-STE100 Simplified Technical English ให้ผลดี
- ควรกำหนดเป้าหมายของงานเขียนและกลุ่มผู้อ่านก่อน แล้วค่อยปรับรูปแบบให้เหมาะกับผู้อ่าน
- สไตล์เริ่มต้นของ Claude ไม่เหมาะกับผู้อ่านสายวิทยาศาสตร์
- หากยังเหลือตัวหนา รายการหัวข้อย่อย หรือวลีการตลาดมากเกินไป คนอ่านอาจตั้งข้อสงสัยไปถึงแหล่งที่มาและการตรวจสอบเนื้อหาด้วย
เหตุผลที่ต้องมีตัวกรองตั้งแต่ขั้นส่งบทความ มากกว่ารอให้เปิดเผยการใช้ AI
- การบังคับเปิดเผยการใช้ LLM อาจเป็นประโยชน์กับนักวิจัยที่สุจริต แต่ไม่น่าจะเปลี่ยนพฤติกรรมจริงได้มาก
- TorchGeo เพิ่มนโยบาย AI แบบ “ไม่ใช้ LLM”, “มี LLM ช่วย”, และ “LLM เขียนทั้งหมด” แต่ก็น่าจะมีน้อยคนที่จะเลือกตัวเลือกสุดท้ายโดยสมัครใจ
- ต่อให้เขียนด้วย LLM หากผลลัพธ์ผ่านการตรวจสอบและทำซ้ำได้ เป็นบทความที่ดี ก็ยังรับได้
- จำเป็นต้องมี กลไก desk reject หรือเครื่องมือปักธง เพื่อหาความผิดพลาด LLM ที่พบบ่อยและตัดสินว่าต้นฉบับอยู่ในสภาพที่พร้อมให้รีวิวหรือไม่
- ตอนนี้ผู้รีวิวกำลังช่วยกันทำงานแบบ desk reject โดยพฤตินัย ซึ่งไม่ยุติธรรมกับผู้รีวิวที่ทำงานด้วยความตั้งใจดี
- ICLR จะ เปิดเผยชื่อผู้เขียนบน OpenReview ตั้งแต่ปี 2027
- ความรับผิดชอบตกอยู่กับทั้งผู้เขียน อาจารย์ที่ปรึกษา ประธานสาขา ผู้จัดงาน และสมาคมวิชาการ
- ผู้เขียนไม่ควรส่งบทความแบบใช้แรงน้อยจำนวนมากเพียงเพื่อเติมประวัติ
- อาจารย์และเมนเทอร์ต้องช่วยกันกันไม่ให้นักศึกษาส่งงานคุณภาพต่ำแบบใช้แรงน้อย
- ผู้จัดงานต้องหาวิธีคัดกรองสิ่งนี้ท่ามกลางจำนวนบทความส่งเข้าที่มหาศาล
- ปัญหาแรงจูงใจในการตีพิมพ์มีอยู่ก่อนยุค LLM แล้ว โดย Lipton และ Steinhardt ได้สรุปเรื่องการประดับคณิตศาสตร์ให้ดูดี การใช้ภาษาอย่างผิด ๆ และแรงจูงใจที่บิดเบี้ยวไว้ตั้งแต่ปี 2018
- แม้ LLM จะทำให้โปรเจกต์ในชั้นเรียนหรือผลวิจัยอัตโนมัติดูเหมือนบทความรูปแบบ NeurIPS ได้ แต่ถ้าไม่ใช่ contribution งานวิจัยจริงก็ไม่ควรส่ง
- แม้จะสามารถใช้ Opus 4.6 และคลัง autoresearch ของ Karpathy เพื่อสร้างผลลัพธ์บน LandCoverAI ให้ดูเหมือน SOTA พร้อมตัวบทความได้ ก็ยังไม่ส่ง เพราะไม่ใช่ contribution งานวิจัยจริง
- AAAI 2027 มีบทคัดย่อส่งเข้ามาถึง 48,000 ฉบับ ทำให้ขนาดของปัญหาการกรองอัตโนมัติยิ่งใหญ่ขึ้นไปอีก
การตรวจบรรณานุกรมอัตโนมัติด้วย bib-audit
bib-auditเป็นสกิล Claude Code ภายใต้ไลเซนส์ MIT ที่ใช้เทียบชื่อเรื่อง ปี และรายชื่อผู้เขียนทั้งหมดในบรรณานุกรมกับข้อมูลในหน่วยงานทะเบียน- รองรับอินพุตเป็น
.bib,.bbl, และ PDF- สำหรับ
.bblและ PDF นั้น Claude จะกู้คืนบรรณานุกรมที่เรนเดอร์แล้วให้กลับมาเป็นฟิลด์แบบมีโครงสร้าง - จากนั้นสคริปต์จะตรวจสอบแต่ละรายการกับ Crossref, arXiv, DataCite, Semantic Scholar
- สำหรับ
- ผลลัพธ์จะเรียงจากข้อผิดพลาดร้ายแรงที่สุดลงมา
- บทความที่ไม่มีอยู่จริง
- ตัวระบุที่ปลอมและผู้เขียนปลอม
- เมทาดาทาผิดของงานจริง รายชื่อผู้เขียนที่ถูกตัดทอน และปีที่ต่างกันระหว่าง preprint กับฉบับตีพิมพ์
- ข้อผิดพลาดด้านรูปแบบ เช่น ช่วงหน้าที่ใช้ขีดเดี่ยว DOI ที่เก็บเป็น URL หรืออักษรย่อแบบ
J.D.
- มันไม่ได้ตรวจแค่ว่ามีชื่อเรื่องอยู่หรือไม่ แต่เทียบ รายชื่อผู้เขียนทั้งหมด ด้วย จึงจับการสับเปลี่ยนผู้เขียนแบบกรณี SatMAE ได้
- รายการที่จับคู่ได้ด้วยการค้นหาชื่อเรื่องอย่างเดียวโดยไม่มี DOI หรือ arXiv ID จะไม่ฟันธง แต่ส่งกลับเป็นคำแนะนำให้ตรวจด้วยมือ
- ในการรีวิว ไม่ควรคาดเดาแรงจูงใจ แต่ควรรายงานเฉพาะข้อเท็จจริงที่สังเกตได้ เช่น “ผู้เขียนคนแรกในระเบียน arXiv ไม่ใช่ Yuyang Cong แต่เป็น Yezhen Cong”
- การตรวจ
.bibเป็นแบบอ่านอย่างเดียว ไม่ต้องมี dependency เพิ่ม และสามารถตั้งค่าให้ล้มเหลวเฉพาะเมื่อมีความไม่ตรงกันในรายการที่ถูกตรึงด้วยตัวระบุได้ จึงใช้เป็น CI gate ก่อนส่งบทความได้ - นอกจาก Claude แล้ว ยังติดตั้งกับ Codex, Copilot, Cursor และเอเจนต์อื่น ๆ ได้ผ่าน
npx skills add isaaccorley/skills
ความลับของต้นฉบับและนโยบายงานประชุมที่ผู้รีวิวต้องตรวจสอบ
- กระบวนการตรวจนี้จะส่งบางส่วนของบรรณานุกรมจากต้นฉบับที่ยังไม่เผยแพร่ไปยัง LLM แบบโฮสต์ ดังนั้นแม้จะไม่ได้ใช้ LLM เพื่อเขียนรีวิว ก็อาจยังละเมิดนโยบายของงานประชุมได้
- นโยบาย ECCV 2026 ห้ามใช้ LLM แบบ local หรือ API ในการเขียนรีวิวหรือ meta-review และยังห้ามแยกต่างหากไม่ให้แชร์ส่วนสำคัญของต้นฉบับกับ LLM
- แนวทางสำหรับผู้รีวิวของ WACV ระบุว่าการรีวิวที่สร้างด้วย LLM เป็นการกระทำที่ไร้ความรับผิดชอบอย่างยิ่ง
- หากฝ่าฝืน บทความของผู้รีวิวเองอาจถูก desk reject ได้
- และยังห้ามแสดงข้อมูลลับให้ผู้ที่ไม่ใช่ผู้รีวิวเห็น ซึ่ง LLM แบบโฮสต์ไม่ใช่ผู้รีวิว
- นโยบาย LLM ของ NeurIPS จำกัดสิ่งที่ผู้รีวิวจะแชร์กับบริการ LLM ได้
- เส้นทางการใช้งานที่ได้รับอนุญาตคือ การทดลองรีวิวโดยมี AI ช่วยอย่างเป็นทางการ
- ผู้เขียนสามารถรัน
bib-auditได้เองก่อนส่ง แต่ผู้รีวิวต้องตรวจสอบ นโยบาย LLM และความลับของงานประชุม นั้น ๆ ก่อนใช้งานเสมอ
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ตอนนี้ในกระบวนการตีพิมพ์งานวิจัย AI นั้น AI รับหน้าที่ตั้งแต่เขียนบทความ ตรวจทาน ไปจนถึงอ่านและสรุป
แม้แต่ NeurIPS ก็ยังทำการทดลองรีวิวโดยมี AI ช่วยอยู่ และบทความในการประชุมใหญ่ ๆ ก็มีมากเกินกว่าที่มนุษย์จะอ่านทั้งหมดได้
มนุษย์กำลังถูกผลักออกจากกระบวนการตีพิมพ์ทางวิชาการด้วยระบบอัตโนมัติอย่างรวดเร็วมาก
ไม่นานมานี้ก็เจอเรื่องคล้ายกันในการรีวิวของ EMNLP และ AI ยังห่างไกลจากระดับที่จะตัดสินคุณภาพของงานวิจัยได้
ทรัพยากรสาธารณะอย่างการ peer review อย่างซื่อสัตย์กำลังถูกใช้เกินขอบเขต แต่ก็ดูเหมือนไม่มีทางแก้ชัดเจนนอกจากจำกัดการเข้าถึงระบบรีวิวด้วยระบบคะแนนทางสังคมแบบสุดโต่ง
เพราะนักวิจัยส่วนใหญ่ใช้ AI อย่างจริงจังอยู่แล้ว จึงไม่อยากลงโทษเรื่องนี้หรือสร้างสภาพแวดล้อมที่ทำให้ตัวเองเสียเปรียบ และบรรยากาศโดยรวมก็ออกไปทางอย่ากังวลแล้วก็ยอมรับมันเถอะ
สุดท้ายมันก็เผยความจริงอันโหดร้ายว่าแทบไม่มีใครให้ความสำคัญกับตัววิทยาศาสตร์อย่างจริงจังตั้งแต่แรก
หมายถึงพื้นที่ที่เพราะการคำนวณทางเศรษฐกิจ ผู้คนได้รับสิ่งทดแทนที่แค่ดูคล้ายของจริง ทั้งที่ขาดองค์ประกอบแท้จริงที่จำเป็นต่อสุขภาพและความเจริญงอกงามของมนุษย์
ถ้านี่คือสภาพทั่วไปของวงการวิชาการ ก็พอเข้าใจคนที่เรียกร้องให้ตัดงบวิจัยได้เหมือนกัน
นี่คือผลลัพธ์เชิงตรรกะของระบบที่ถ้าไม่ตีพิมพ์ก็อยู่ไม่รอด
ถ้ายกเลิกระบบนี้ ปัญหาส่วนใหญ่ก็น่าจะหายไป และถึงผู้บริหารจะอยากได้ตัวชี้วัดง่าย ๆ แต่งานวิจัยไม่มีตัวชี้วัดแบบนั้น
แม้แต่หนี้ทางเทคนิคก็เหมือนกัน คือมีบทความนับไม่ถ้วน แต่ส่วนใหญ่อาจทำซ้ำไม่ได้ และก็ไม่รู้ว่าบทความไหนเป็นแบบนั้น
ผลงานตีพิมพ์และการอ้างอิงแม้จะปั่นได้ แต่ก็เป็นรูปธรรม และบทความที่ถูกอ้างอิงมากก็มักมีประโยชน์ จึงให้ผลตอบแทนแก่ผู้เขียน
ถ้าเอาสิ่งนี้ออกไปโดยไม่มีทางเลือกที่ดีกว่า ก็อาจกลายเป็นระบบที่ขึ้นกับเส้นสายและคารมมากกว่าตอนนี้เสียอีก
การส่งต่อข้อผิดพลาดที่ AI สร้างขึ้นโดยไม่ตรวจสอบ ควรถูกมองว่าเป็นการกระทำผิดระดับใกล้เคียงการลอกงานและควรได้รับโทษคล้ายกัน
การเปิดเผยกับการใช้เกินขอบเขตเป็นคนละเรื่องกัน แต่ถ้าแม้แต่ hallucination และข้อผิดพลาดยังไม่ตรวจสอบ ปัญหาหลักก็ไม่ใช่ AI แต่คือความไร้ความสามารถและความขี้เกียจ
สถิติการส่งบทความรายเดือนของ arXivน่าจะเปลี่ยนเป็นสเกลลอการิทึมจะดีกว่า
วงการวิชาการในปี 2027 อาจกลายเป็นเหมือน Moltbook ก็ได้
บทความคุณภาพต่ำมักกระจุกอยู่ในหัวข้อใหญ่ที่ดูหวือหวา โดยเฉพาะสาย machine learning ที่หนักมาก แต่ก็ยังมีหัวข้อสำคัญที่เป็น niche และผู้เขียนแบบนี้ยังไม่เข้าไปแตะ
สาขาเหล่านั้นยังถูกขับเคลื่อนโดยนักวิจัยที่จริงจังอยู่ แต่ถ้าไม่ลงไปศึกษาเองก็ยากจะรู้ว่ามีอยู่
นี่เป็นผลข้างเคียงจากการที่วงการวิชาการไม่จัดการเรื่องการเข้าถึงแบบเปิดของบทความและวารสารอย่างจริงจัง
ถ้าบทความไม่ถูกปิดกั้นด้วยการจำกัดการเข้าถึงของวารสาร อย่างน้อยการตรวจสอบว่าบทความที่ถูกอ้างอิงและข้อความอ้างอิงมีอยู่จริงหรือไม่ก็คงทำได้ง่าย
การ peer review ให้ชื่อเสียงแต่ไม่มีค่าตอบแทน คล้ายบทบาทผู้ดูแล Reddit ที่แพลตฟอร์มกับสำนักพิมพ์เป็นฝ่ายได้ประโยชน์
เป็นโครงสร้างที่ผู้เขียนต้องจ่ายค่าตีพิมพ์ และผู้เขียนคนอื่นก็ยังช่วยตรวจแก้ให้ฟรี ดังนั้นการที่นักวิชาการเอา preprint หรือบทความดังไปลงบนเว็บไซต์ส่วนตัวจึงเป็นทางเลือกที่เป็นธรรมชาติ
แต่การตรวจว่าข้อความอ้างอิงสอดคล้องกับข้ออ้างจริงหรือไม่ ต้องอ่านและตีความบทความอยู่ดี ดังนั้นแค่เปิดให้เข้าถึงก็ไม่ได้ทำให้ง่ายขึ้นแบบตรง ๆ และถึงจะใช้ AI ช่วยตรวจรอบแรกก็ยังเป็นงานที่หนักมาก
สงสัยว่าจริงไหมที่พอส่งบทความเข้าประชุมแล้วจะต้องรีวิวภาคบังคับ 4-5 บทความ
เท่ากับว่าแม้แต่งานดี ๆ ก็ต้องถูกบังคับให้รีวิวโดยคนที่ไม่รู้ทั้งที่มาและความเชี่ยวชาญ
ฉันถูกบังคับให้รีวิว 7 บทความ สมัครรีวิว 30 บทความที่อยากได้จากทั้งหมด 30,000 บทความ แต่ไม่ได้สักบทความเดียว กลับถูกมอบหมายงาน 7 บทความที่ตัวเองมีความเชี่ยวชาญไม่เพียงพอ
แต่เพราะบทความที่ส่งเข้ามีแต่เพิ่มขึ้นเรื่อย ๆ และผู้รีวิวอาสามีน้อย จึงมีการบังคับรีวิวจริง: เกณฑ์แรงจูงใจการรีวิว
น่าจะอ้างถึงChavda's paradoxได้ด้วย: https://zencapital.substack.com/p/chavdas-paradox
ตอนแรกนึกว่า Caleb กับ Isaac เป็นชื่ออัลกอริทึมสองตัวที่ใช้ตรวจจับการใช้ AI ในบทความตีพิมพ์ แต่จริง ๆ แล้วเป็นชื่อของผู้เขียนสองคนที่เขียนโดยอาศัยความช่วยเหลือจาก AI
ถ้าทั้งสองคนให้คำตัดสินต่างกัน ก็อยากรู้ว่าบทความที่แต่ละคนทำเครื่องหมายว่ามีปัญหานั้นซ้ำกันมากแค่ไหน
ยังอยู่ในช่วงอัลฟา แต่กำลังพัฒนาแอปพลิเคชันตรวจสอบการอ้างอิง https://veruscite-data.com/ โดยตั้งเป้าเปิดตัวใน Show HN ภายในไม่กี่สัปดาห์
คนที่คุ้นกับเครื่องมือ generative AI อาจใช้ความสามารถแบบที่ Caleb และ Isaac ให้ไว้ในบทความได้เอง แต่เครื่องมือนี้มีประสิทธิภาพด้านโทเคนดีกว่า และมี GUI ที่ช่วยให้ตรวจทานและแก้ไขบรรณานุกรมที่ดึงออกมาได้ง่าย