- ช่วงหลังมานี้ เครื่องมือ AI หลายตัวกำลังตรวจพบข้อผิดพลาดด้านการคำนวณ ระเบียบวิธีวิจัย และบรรณานุกรมในบทความวิจัย
- เมื่อปีที่แล้ว มีรายงานผลการศึกษาว่าอุปกรณ์ทำครัวพลาสติกสีดำมีสารเคมีที่ก่อมะเร็ง
- แต่ภายหลังพบว่าจากความผิดพลาดทางคณิตศาสตร์ของงานวิจัย ทำให้ความเข้มข้นของสารเคมีจริงต่ำกว่าค่าขีดจำกัดความปลอดภัยถึง 10 เท่า
- โมเดลปัญญาประดิษฐ์ (AI) สามารถพบข้อผิดพลาดนี้ได้ภายในไม่กี่วินาที
โครงการตรวจจับข้อผิดพลาดในบทความวิจัยด้วย AI
Black Spatula Project
- ใช้เครื่องมือ AI แบบโอเพนซอร์สวิเคราะห์บทความราว 500 ฉบับเพื่อตรวจหาข้อผิดพลาด
- โครงการนี้ประสานงานโดย Joaquin Gulloso นักวิจัย AI อิสระจากโคลอมเบีย โดยมีนักพัฒนา 8 คนและคณะที่ปรึกษาหลายร้อยคนเข้าร่วม
- ยังไม่มีการเปิดเผยรายการข้อผิดพลาดต่อสาธารณะ และเมื่อพบข้อผิดพลาดจะติดต่อผู้วิจัยโดยตรงเพื่อให้แก้ไข
YesNoError
- เป็นโครงการที่เริ่มต้นจากแรงบันดาลใจของ Black Spatula Project
- นำโดย Matt Schlicht ผู้ก่อตั้งและผู้ประกอบการด้าน AI
- ดำเนินงานด้วยเงินทุนจากคริปโทเคอร์เรนซีเฉพาะของโครงการ
- จนถึงตอนนี้ได้วิเคราะห์บทความไปราว 37,000 ฉบับภายในเวลา 2 เดือน
- บทความที่พบข้อผิดพลาดจะแสดงบนเว็บไซต์ แต่ส่วนใหญ่ยังอยู่ในสถานะที่ผู้เชี่ยวชาญยังไม่ได้ตรวจยืนยัน
- ในระยะยาวมีแผนร่วมมือกับ ResearchHub (ให้รางวัลนักวิจัยระดับปริญญาเอกด้วยคริปโทเคอร์เรนซี) เพื่อตรวจยืนยันข้อผิดพลาด
สนับสนุนให้นักวิจัยและวารสารใช้เครื่องมือ AI
- ส่งเสริมให้นักวิจัยใช้เครื่องมือ AI ก่อนส่งบทความ และให้วารสารใช้ก่อนตีพิมพ์ เพื่อค้นหาข้อผิดพลาดล่วงหน้า
- คาดว่าจะช่วยเสริมความน่าเชื่อถือทางวิทยาศาสตร์ผ่านการป้องกันข้อผิดพลาดและการทุจริตทางวิจัย
ปฏิกิริยาและความกังวลจากวงวิชาการ
- ผู้เชี่ยวชาญด้านความซื่อตรงของงานวิจัยตอบรับโครงการเหล่านี้ในเชิงบวกอย่างระมัดระวัง
- Michèle Nuijten นักวิจัยจาก Tilburg University แสดงความกังวลดังนี้:
- หากยังไม่มีการตรวจสอบความแม่นยำของเครื่องมือ AI อย่างชัดเจน การชี้ว่ามีข้อผิดพลาดอาจผิดพลาดเองและทำลายชื่อเสียงได้
- James Heathers นักเมตาวิทยาศาสตร์เชิงนิติวิทยาศาสตร์จาก Linnaeus University สนับสนุนว่า:
- "การเขียนงานวิจัยแย่ ๆ ง่ายกว่าการถอนมันออกมาก"
- AI อาจมีประโยชน์ในการคัดกรองบทความและกระตุ้นให้มีการตรวจทานเพิ่มเติม
วิธีการทำงานของเครื่องมือ AI
- ใช้ large language model (LLM) เพื่อตรวจจับข้อผิดพลาดในบทความ
- ดึงข้อมูลจากตาราง รูปภาพ และองค์ประกอบอื่น ๆ ในบทความ แล้วสร้างคำสั่ง (prompt) ที่ซับซ้อน
- โมเดล AI จะวิเคราะห์บทความหลายรอบเพื่อค้นหาข้อผิดพลาดหลายประเภท และตรวจสอบผลไขว้กัน
- ค่าใช้จ่ายในการวิเคราะห์ต่อบทความ: ราว 15 เซ็นต์ไปจนถึงหลายดอลลาร์ ขึ้นอยู่กับความยาวบทความและความซับซ้อนของ prompt
ปัญหา false positive
- Black Spatula Project → มี false positive ราว 10%
- ข้อผิดพลาดทั้งหมดจำเป็นต้องมีผู้เชี่ยวชาญตรวจยืนยัน → การขาดแคลนผู้เชี่ยวชาญคือคอขวดใหญ่ที่สุด
- YesNoError → จากการตรวจยืนยันข้อผิดพลาดทางคณิตศาสตร์ 100 กรณีในบทความ 10,000 ฉบับ พบว่ามากกว่า 90% เป็นข้อผิดพลาดจริง
- YesNoError กำลังทำงานเพื่อลดอัตรา false positive และรับฟังฟีดแบ็กจากวงวิชาการอย่างต่อเนื่อง
เสียงวิจารณ์ต่อปัญหา false positive
- Nick Brown นักวิจัยจาก Linnaeus University:
- จากบทความ 40 ฉบับที่ YesNoError วิเคราะห์ พบ false positive ใน 14 ฉบับ โดยส่วนใหญ่เป็นปัญหาด้านการเขียน
- ข้อผิดพลาดเล็กน้อยอาจสร้างภาระที่ไม่จำเป็นให้กับวงวิชาการ
- "หากเทคโนโลยีไม่พัฒนาขึ้นอย่างมาก มันอาจต้องใช้แรงงานจำนวนมากโดยไม่ได้ประโยชน์ชัดเจน"
ความท้าทายและความคาดหวังในอนาคตของเครื่องมือ AI
- YesNoError วางแผนนำระบบที่ให้ผู้ถือคริปโทเคอร์เรนซีตัดสินใจจัดลำดับความสำคัญของบทความที่จะตรวจทาน
- มีความเป็นไปได้ที่บทความในหัวข้ออ่อนไหวทางการเมือง (เช่น วิทยาศาสตร์ภูมิอากาศ) จะกลายเป็นเป้าหมาย
- Brown กล่าวว่า "หากเครื่องมือ AI แสดงให้เห็นว่ามีประสิทธิผลจริง ก็อาจเกิดการเปลี่ยนแปลงครั้งใหญ่ในบางสาขาการวิจัย"
5 ความคิดเห็น
บทความคุณภาพต่ำอาจถูกคัดกรองออกไปได้ก็จริง แต่ในอีกด้านหนึ่ง ผมก็กังวลว่าแม้แต่บทความดี ๆ เองก็จะมีด่านที่สูงขึ้น จนสุดท้ายอาจทำให้มีความสร้างสรรค์น้อยลงเมื่อเทียบกัน เพราะถึงจะมีช่องโหว่เชิงตรรกะอยู่บ้าง แต่บางครั้งมันก็เป็นที่มาของไอเดียใหม่ ๆ ที่เกิดขึ้นตามมาได้ ดังนั้นโดยส่วนตัวแล้ว ผมจึงไม่ได้รู้สึกยินดีกับเรื่องนี้มากนักครับ
AI เองก็อาจผิดได้เหมือนกัน เลยสงสัยว่าจะตรวจสอบอย่างไรได้บ้างว่าสิ่งที่ AI ชี้ประเด็นมานั้นไม่ได้ผิดไปด้วย
เมื่อ LLM ได้รับความนิยมอย่างแพร่หลาย ก็กำลังเกิดการเปลี่ยนแปลงครั้งใหญ่อย่างมากในพื้นที่ซึ่งความต้องการส่วนใหญ่เดิมมาจากความไม่สมดุลของข้อมูล
น่าลองให้มันวิเคราะห์คัมภีร์ต่าง ๆ ของมนุษยชาติดูเหมือนกันนะครับ 555
ความคิดเห็นบน Hacker News
หาก AI สามารถตรวจพบข้อผิดพลาดที่ชัดเจนในงานวิจัยที่ตีพิมพ์แล้ว ก็อาจนำมาใช้เป็นส่วนหนึ่งของกระบวนการทบทวนได้ ผู้เขียนเองก็สามารถใช้กับงานของตนก่อนส่งตีพิมพ์ ซึ่งอาจช่วยยกระดับคุณภาพของบทความได้มาก
ขณะนี้เว็บไซต์ YesNoError มีผลบวกลวงอยู่จำนวนมาก Nick Brown นักวิจัยจาก Linnaeus University ระบุว่า จากบทความที่มีปัญหา 40 ฉบับ มี 14 ฉบับที่เป็นผลบวกลวง
เนื่องจากตอนนี้เป็น AI ที่นำกระบวนการ ผู้คนอาจคิดว่ามันกำลังตรวจหาการฉ้อโกงหรือเหตุผลวิบัติ แต่อันที่จริงมันกำลังตรวจสอบความสอดคล้องในตัวเองและความสอดคล้องกับข้อมูลฝึก
มีการเสนอแนวคิดให้ใช้ AI เพื่อทำแผนที่ผลกระทบของบทความที่ถูกเพิกถอน โดยระบุข้อสรุปจากบทความที่ถูกเพิกถอนซึ่งไม่ควรใช้อ้างอิงอีกต่อไป และตรวจดูว่าปรากฏอยู่ตรงไหนในบทความปลายน้ำ
ความทรงจำร่วมของเราสั้นเกินไปหรือไม่? เราลืมปัญหาที่เกิดจากรายงานบั๊กที่ AI สร้างขึ้นแล้วหรือ?
มีการยกตัวอย่าง 2 กรณีจากโครงการ Black Spatula ที่ตรวจพบข้อผิดพลาดสำคัญได้
แนวคิดนี้ดี และอยากนำไปใช้กับรายงานในบริษัทของตัวเองเพื่อจับข้อผิดพลาดที่ชัดเจนก่อนส่งให้หัวหน้า
YesNoError กำลังวางแผนให้ผู้ถือครองคริปโทเคอร์เรนซีเป็นผู้ตัดสินว่าบทความใดจะถูกตรวจทานก่อน
แนวคิดนี้เป็นความคิดที่แย่มาก ควรข้ามส่วนแรกไปแล้วอ่านส่วน "ผลบวกลวง" แทน
มีความสงสัยอย่างมากต่อคุณค่านี้ เวลาจำนวนหนึ่งถูกเสียไปแล้วกับการตอบโต้ข้ออ้างที่ไม่มีมูลจากการ "ทบทวน" โดย AI ข้ออ้างแบบนี้อาจเคยมีมาก่อน แต่ตัวสร้างข้อความรู้วิธีหลอนคำศัพท์ให้ดูถูกต้องพอจะโน้มน้าวคนทั่วไปและมือสมัครเล่นได้ ทำให้รับมือได้น่ารำคาญยิ่งกว่าเดิม