นโยบายใหม่ของ arXiv: แบนใช้งาน 1 ปีหากมีบรรณานุกรมหลอน

 (twitter.com/tdietterich)
1 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • Code of Conduct ของ arXiv กำหนดว่า ผู้ที่มีชื่อเป็นผู้เขียนต้องรับผิดชอบต่อทั้งบทความ ไม่ว่าจะสร้างเนื้อหาด้วยวิธีใดก็ตาม
  • หากบทความมี ภาษาที่ไม่เหมาะสม การลอกผลงาน อคติ ข้อผิดพลาด หรือบรรณานุกรมที่ไม่ถูกต้องซึ่งสร้างโดย generative AI ความรับผิดชอบยังคงเป็นของผู้เขียน
  • arXiv มองว่า หากมี หลักฐานชัดเจน ว่าผู้เขียนไม่ได้ตรวจสอบผลลัพธ์ที่ LLM สร้างขึ้น ก็จะไม่สามารถเชื่อถือบทความนั้นได้ทั้งฉบับ
  • มาตรการลงโทษคือ ห้ามใช้ arXiv เป็นเวลา 1 ปี และหลังจากนั้น งานที่จะส่งต้องได้รับการตอบรับจากวาระวิชาการแบบ peer review ที่มีชื่อเสียงก่อน
  • บรรณานุกรมหลอน หรือเมตาคอมเมนต์ของ LLM อย่าง “ใส่ตัวเลขจริงจากการทดลองลงไป” จะถูกนับเป็นหลักฐานชัดเจน

ความรับผิดชอบและบทลงโทษของผู้เขียนบน arXiv

  • Code of Conduct ของ arXiv ระบุว่า การมีชื่อเป็นผู้เขียนบทความหมายถึงการรับผิดชอบต่อบทความทั้งฉบับ ไม่ว่าบทความนั้นจะถูกสร้างขึ้นด้วยวิธีใด
  • หากงานเขียนทางวิทยาศาสตร์มี ภาษาที่ไม่เหมาะสม เนื้อหาที่ลอกมา เนื้อหาที่มีอคติ ข้อผิดพลาด ความคลาดเคลื่อน บรรณานุกรมที่ไม่ถูกต้อง หรือเนื้อหาที่ทำให้เข้าใจผิดซึ่งสร้างโดยเครื่องมือ generative AI ความรับผิดชอบจะตกอยู่กับผู้เขียน
  • arXiv เห็นว่า หากในงานที่ส่งมี หลักฐานชัดเจน ว่าผู้เขียนไม่ได้ตรวจสอบผลลัพธ์ที่ LLM สร้างขึ้น ก็ไม่อาจเชื่อถือเนื้อหาส่วนใดส่วนหนึ่งของบทความนั้นได้
  • มาตรการลงโทษคือ ห้ามใช้ arXiv เป็นเวลา 1 ปี และหากจะส่งเข้า arXiv อีกครั้งในภายหลัง จะต้องได้รับการตอบรับจากวาระวิชาการแบบ peer review ที่มีชื่อเสียงก่อน
  • หลักฐานชัดเจนดังกล่าวรวมถึง บรรณานุกรมหลอน และเมตาคอมเมนต์ของ LLM
    • ตัวอย่าง: “here is a 200 word summary; would you like me to make any changes?”
    • ตัวอย่าง: “the data in this table is illustrative, fill it in with the real numbers from your experiments”

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความเห็นจาก Hacker News

  • ถ้าบทลงโทษคือ แบนการใช้งาน arXiv 1 ปี แล้วหลังจากนั้นงานที่จะส่งต้องได้รับการตอบรับจากสำนักพิมพ์ peer review ที่มีชื่อเสียงก่อน แบบนี้น่าจะเป็นผลดีต่อวงการวิทยาศาสตร์มาก
    arXiv ใช้ได้ฟรีก็จริง แต่ใกล้เคียงกับสิทธิพิเศษมากกว่าสิทธิที่พึงมี
    เพียงแต่ใน https://info.arxiv.org/help/policies/index.html ยังดูไม่ชัดเจน อาจยังเป็นแค่แผน หรืออาจเป็นเพราะฉันหาไม่ละเอียดพอ
    อย่างที่ด็อกเตอร์คนหนึ่งเคยพูดไว้ แก่นสำคัญของเครื่องวันสิ้นโลกคือ ถ้าซ่อนไว้ มันก็ไม่มีความหมาย

    • หลังโพสต์นี้ขึ้นไปแล้ว น่าจะมีใครสักคนรีบทำ ตัวตรวจสอบบรรณานุกรมอ้างอิง แบบคร่าว ๆ แล้วคิดจะขายเป็นบริการสมัครสมาชิกอยู่แล้ว
      มันคงดีต่อการเช็กบรรณานุกรม แต่อาจไม่ได้ช่วยลดงานวิทยาศาสตร์ห่วย ๆ ที่มาพร้อมบรรณานุกรมหลอนมากนัก
    • ฉันคิดว่านี่ ดูรุนแรงเกินไป
      arXiv เองก็ไม่ได้ตรวจงานส่งอย่างละเอียดขนาดนั้น แล้วจะรู้ได้อย่างไร?
      เขาพูดถึง “ข้อผิดพลาด ความผิดพลาดโดยไม่ตั้งใจ” แต่การตรวจว่าผ่านข้อกำหนดพื้นฐานหรือไม่ทำโดยระบบอัตโนมัติ และบางครั้งก็มีการตรวจแบบผิวเผินโดยคนเท่านั้น การจะตรวจบรรณานุกรมทั้งหมดในสเกลใหญ่เป็นไปไม่ได้
      เท่ากับพยายามทำอะไรคล้าย peer review ในคลัง preprint ที่รับงานมากกว่าวารสารเป็นร้อยเท่า
      แถมการขึ้น arXiv กับการผ่าน peer review ก็ห่างกันมาก
      ส่วนตัวแล้วในสายคณิตศาสตร์ ฉันน่าจะโดนปฏิเสธจาก peer review เกินสิบครั้ง แต่ก็ลง arXiv math ได้ไม่มีปัญหา
      peer review ไม่ได้ดูแค่ว่าใหม่และถูกต้องหรือไม่ แต่ยังดูด้วยว่า “น่าสนใจสำหรับชุมชนคณิตศาสตร์หรือเปล่า” ซึ่งเป็นเรื่องอัตวิสัยโดยเนื้อแท้ และยากกว่าการลง arXiv มาก
      ศาสตราจารย์ชื่อดังด้านทฤษฎีจำนวนเคยชมงานฉันตอนรับรอง และศาสตราจารย์อีกคนก็แนะนำทางอีเมลให้ตีพิมพ์ แต่ก็ยังถูกปฏิเสธ 3 ครั้งและตอนนี้ก็ยังรออยู่
      ถ้าบังคับให้ต้องตีพิมพ์ในวารสาร peer review ก่อน arXiv อาจปิดประตูใส่นักวิจัยจำนวนมากตลอดไป และยังขัดกับเจตนาของการเป็น preprint ด้วย
    • ฉันไม่เห็นด้วยกับคำว่า “เป็นผลดีต่อวิทยาศาสตร์มาก”
      มันก็แค่ การอ้างอิงหลอนเพียงรายการเดียว ไม่ใช่การฉ้อโกง
      มันไม่ได้สะท้อนเนื้อหางานวิจัยหรือคุณภาพของคนคนนั้นเลย
      สำหรับความผิดพลาดครั้งแรกเล็กน้อยแบบนี้ แบน 1 ปีก็น่าจะพอแล้ว
      คนเราผิดพลาดกันได้ และหลายคนก็เรียนรู้จากมันได้
      ไม่จำเป็นต้องทำลายความก้าวหน้าในชีวิตหรือความสามารถในการสร้างคุณูปการต่อมนุษยชาติของใครอย่างถาวร เพียงเพราะครั้งหนึ่งในชีวิต AI สร้างบรรณานุกรมหลอนขึ้นมา
      นี่ออกแนวลงโทษมากกว่าฟื้นฟู

  • แม้จะเป็นมาตรการที่น่ายินดี แต่โดยพื้นฐานแล้วฉันอยากให้ปัญหาเรื่องการสร้าง รายการ BibTeX ที่ถูกต้อง สำหรับงานที่อ้างอิงถูกแก้ได้ง่ายกว่านี้
    ข้อมูลการอ้างอิงของบทความหนึ่งอาจมาจากหลายแหล่ง เช่น วารสารของสำนักพิมพ์ต่าง ๆ งานประชุม หรือ preprint
    บทความเดียวกันก็อาจอยู่หลายที่ เช่น arXiv และเว็บไซต์งานประชุม โดยมีรายละเอียดต่างกันเล็กน้อย
    เครื่องมืออย่าง Zotero ทำให้การดึง citation จากหน้าเว็บสำนักพิมพ์ง่ายขึ้นมาก แต่รายละเอียด BibTeX ที่ดึงออกมาก็ยังมีปัญหาอยู่
    ชื่อผู้เขียนกับชื่อเรื่องมักดึงได้ค่อนข้างดี แต่เรื่องสำนักพิมพ์ ปี เล่ม ฉบับ หน้า URL ฯลฯ ถูกต้องหรือไม่ และแสดงผลถูกต้องในรูปแบบ LaTeX หรือเปล่า ยังต้องตรวจด้วยมืออยู่ดี
    รูปแบบการอ้างอิงก็อาจต่างกันไปในแต่ละสิ่งพิมพ์
    เพราะยังไม่มีวิธีรวมศูนย์ที่ทำให้ดึงข้อมูลอ้างอิงที่สม่ำเสมอได้ง่าย น่าเสียดายที่คนจึงอาจเลือกทางลัดด้วยข้อมูลอ้างอิงที่ AI สร้างขึ้น
    ฉันไม่แน่ใจว่าบรรณานุกรมหลอนเกิดในเนื้อหาหลักหรือเกิดในไฟล์ BibTeX แยกต่างหาก ดังนั้นความเข้าใจของฉันอาจคลาดเคลื่อนไปเล็กน้อย

    • Zotero ยังมีเครื่องมือออนไลน์ฟรีที่สร้าง citation หรือ ไฟล์ BibTeX ในรูปแบบที่ต้องการจาก URL/DOI/ISBN ฯลฯ ด้วย
      https://zbib.org/

  • https://xcancel.com/tdietterich/status/2055000956144935055

    • ตามจรรยาบรรณการปฏิบัติ การมีชื่อเป็นผู้เขียนบทความหมายความว่า ไม่ว่าเนื้อหาจะถูกสร้างขึ้นอย่างไร ผู้เขียนแต่ละคนต้อง รับผิดชอบเต็มที่ ต่อเนื้อหาทั้งหมดนั้น

  • ปัญหาคือจะ ตรวจจับบรรณานุกรมหลอนในวงกว้าง ได้อย่างไร
    ไม่รู้ว่าจะสุ่มตรวจด้วยคน หรือใช้การตรวจ DOI อัตโนมัติ
    ทิศทางของนโยบายดูถูกต้อง แต่การบังคับใช้ยาก

  • ดี
    ถ้าคุณไม่มีเวลาตรวจผลลัพธ์จาก LLM อย่างละเอียด ฉันก็ไม่มีเวลาอ่านมันเหมือนกัน

    • น่าเศร้า แต่ไม่ว่ามันจะสร้างโดย LLM หรือไม่ บทความ arXiv 99% ก็คงไม่มีคุณค่าพอให้อ่านอยู่ดี
      เคยสุ่มหยิบมาสักฉบับแล้วอ่านลึก ๆ จริงจังบ้างไหม?

  • ตอนนี้ยังไม่เห็นพูดถึงเงื่อนไขคำว่า “มีชื่อเสียง” ตรงนี้เลย
    peer review ที่มีชื่อเสียงตัดสินจากเกณฑ์อะไร?

  • ก่อนจะใช้มาตรการลงโทษแบบนี้ จำเป็นต้องมี การตรวจสอบอย่างรอบคอบ
    ถ้ามีคนใส่ชื่อผู้อื่นลงไปแล้วส่งโดยไม่ได้รับอนุญาต ทุกคนจะโดนแบนหมดหรือ?
    แต่ก็เห็นด้วยว่าถ้าทำได้ถูกต้อง นี่เป็นทิศทางที่ดี

    • แถมเท่าที่ฉันรู้ ตอนนี้สามารถเพิ่ม co-author คนไหนก็ได้โดยไม่มีการยืนยัน
      ถ้าอย่างนั้น แค่บทความประโยคเดียวฉบับเดียวก็อาจใช้แบนทุกคนใน arXiv ได้เลย

  • การเห็นพวก กองเชียร์ LLM แบบเกินเหตุ ที่โผล่เต็ม Twitter มาตอบอย่างเดือดดาลต่อมาตรการนี้ เป็นสัญญาณที่ชัดมาก
    เหมือนกับคอมเมนต์ในโพสต์เรื่อง LLM contamination คือบางคนรับไม่ได้ว่ามีคนไม่ชอบ LLM และจะโมโหทันทีที่มีอุปสรรคเล็กน้อยต่อการยัดเยียดการยอมรับแบบรวดเร็ว

    • แปลกดีที่อันนี้โดนทำให้เป็นสีเทา
      สรุปแล้วฉันทึกามติของ HN คือควรเร่งยัด LLM เข้าไปทุกที่ให้เร็วที่สุดงั้นหรือ
      ฟังดูไร้สาระ แต่ขณะเดียวกันก็เป็น HN มากจริง ๆ

  • ดีเลย วรรณกรรมวิชาการกำลังอยู่ในภาวะวิกฤตเพราะ ขยะคุณภาพต่ำ เต็มไปหมด
    การเอาผิดกับบรรณานุกรมหลอนที่ตรวจพบได้ง่ายย่อมเป็นเรื่องดีเท่านั้น

    • มันไม่ใช่ปัญหาเฉพาะของ AI
      ฉันเรียนปริญญาเอกฟิสิกส์เมื่อราว 40 ปีก่อน ตอนนั้นบรรณานุกรมผิด ๆ ก็เป็นปัญหาอยู่แล้ว

  • เพื่อนร่วมงานคนหนึ่งส่งบทความทั้งที่ยังมี ประโยคขยะจาก AI ค้างอยู่ในเนื้อหาแบบตรงตัว แล้วก็โดนขอแก้ไขอย่างหนัก
    ควรตรวจร่างก่อนส่ง
    ผู้ประเมินหาเจอแน่นอน

    • ต้องตรวจ LaTeX comment ด้วย arXiv ทำให้มันมองเห็นได้แบบสาธารณะ
      ฉันเป็นผู้ใช้ screen reader ก็เลยมักอ่านบทความจากไฟล์ TeX ต้นฉบับ และเจออะไรมาเยอะมาก
      ทั้งคำดูหมิ่น การด่าผู้ประเมินและศาสตราจารย์ การยอมรับการฉ้อโกง ไปจนถึงการสั่งให้ผู้เขียนร่วมทำการฉ้อโกงเพิ่มก่อนส่งเพื่อปกปิดการฉ้อโกงครั้งก่อน
      มันพบน้อยกว่าที่คิดมาก น้อยกว่า 1% ของบทความ แต่มีอยู่จริง
      การรัน ตัวตรวจจับการฉ้อโกงด้วย LLM กับซอร์ส TeX ของบทความ arXiv ใหม่ ๆ น่าจะมีประโยชน์
      มันคงจับไม่ได้ทั้งหมด แต่คงจับนักโกงที่โง่ที่สุดได้บางส่วน
      มันยังมีด้านบวกด้วย เช่น อาจเจอข้ออ้างที่แรงกว่าซึ่งไม่ผ่านการประเมิน คำอธิบายเพิ่มเติมที่ถูกตัดเพราะข้อจำกัดจำนวนหน้าของงานประชุม หรือผลทดลองที่ผู้เขียนไม่คิดว่ามีคุณค่าพอจะใส่
      สิ่งเหล่านี้ต้องอ่านอย่างระมัดระวังมาก แต่บางครั้งก็มีประโยชน์จริง
    • ฟังแล้วเศร้านิดหน่อย เพราะข้อเสนอที่นี่เหมือนไม่ใช่ว่าอย่าส่งขยะตั้งแต่แรก แต่เป็นให้ พรางขยะ ให้ผู้ประเมินจับได้ยากขึ้น