1 คะแนน โดย GN⁺ 2023-08-07 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • บทความนี้อภิปรายแนวคิดในการแทนที่การประเมินโดยผู้ทรงคุณวุฒิแบบดั้งเดิมในการวิจัยทางวิทยาศาสตร์ด้วย "การทำซ้ำโดยเพื่อนนักวิจัย"
  • ผู้เขียนโต้แย้งว่ากระบวนการประเมินโดยผู้ทรงคุณวุฒิในปัจจุบันมีข้อบกพร่อง และอาจเป็นอุปสรรคสำคัญต่อการถ่ายทอดการค้นพบทางวิทยาศาสตร์ที่สำคัญ
  • กระบวนการ "การทำซ้ำโดยเพื่อนนักวิจัย" ที่เสนอขึ้นนั้น แทนที่จะให้ผู้เชี่ยวชาญไม่กี่คนเป็นผู้ตรวจทาน จะเป็นการส่ง preprint ไปยังห้องปฏิบัติการอื่นเพื่อทำซ้ำผลลัพธ์
  • ผู้เขียนเสนอว่าการทดสอบที่แท้จริงของงานวิจัยควรเป็นความสามารถในการทำให้ได้ผลลัพธ์เดิมซ้ำได้ในโลกแห่งความเป็นจริง
  • บทความเน้นว่าปัจจุบันห้องปฏิบัติการอิสระแทบไม่มีแรงจูงใจในการทำซ้ำผลลัพธ์ที่ได้รับการตีพิมพ์แล้ว ซึ่งตรงกันข้ามกับวิธีที่วิทยาศาสตร์ควรดำเนินไปในอุดมคติ
  • ในระบบที่เสนอ นักวิจัยที่ทำงานด้านการทำซ้ำจะได้รับการยอมรับในบทความที่ตีพิมพ์ ซึ่งเป็นแรงจูงใจต่อความพยายามของพวกเขา
  • ผู้เขียนยอมรับถึงความท้าทายที่อาจเกิดขึ้นกับแนวทางนี้ เช่น อาจต้องใช้เวลาเพิ่มขึ้นระหว่างการส่งต้นฉบับกับการตีพิมพ์ และอาจมีความยากลำบากในการทำซ้ำผลลัพธ์ที่ใช้เทคนิควิทยาศาสตร์ขั้นสูงหรือต้องใช้ทรัพยากรจำนวนมาก
  • ผู้เขียนเสนอให้ส่งรายละเอียดของเรื่องราวล่วงหน้าและจัดการการทำซ้ำในขณะที่ต้นฉบับยังอยู่ระหว่างการเตรียม เพื่อทำให้กระบวนการนี้เกิดขึ้นได้จริงมากขึ้น
  • บทความสรุปว่าองค์กรอย่าง Review Commons อาจจัดการทดสอบสำหรับแนวทางใหม่นี้ได้ และหากนักวิทยาศาสตร์ได้เห็นการทำซ้ำโดยเพื่อนนักวิจัยในฉบับตีพิมพ์ มันอาจกลายเป็นวิธีที่พวกเขาชื่นชอบมากกว่าการประเมินโดยผู้ทรงคุณวุฒิแบบดั้งเดิม

1 ความคิดเห็น

 
GN⁺ 2023-08-07
ความเห็นจาก Hacker News
  • บทความนี้เสนอให้แทนที่ระบบ peer review ในงานวิจัยวิทยาศาสตร์ปัจจุบันด้วย "peer replication"
  • ผู้วิจารณ์โต้แย้งว่าการทำ replication ให้กับงานตีพิมพ์ทุกชิ้นต้องใช้ความพยายามและทรัพยากรจำนวนมาก และอาจไม่เป็นประโยชน์ต่อนักวิทยาศาสตร์ที่ทำ replication
  • จุดประสงค์ของสิ่งพิมพ์ทางวิทยาศาสตร์คือการแบ่งปันผลลัพธ์ใหม่กับนักวิทยาศาสตร์คนอื่น เพื่อให้พวกเขานำงานไปต่อยอดหรือตรวจสอบได้ เดิมกระบวนการ peer review ถูกออกแบบมาเพื่อปฏิเสธบทความที่เขียนได้ไม่ดีและสแปมที่เห็นได้ชัด
  • กระบวนการ peer review ไม่ได้รับประกันการทำ replication แต่ช่วยรับประกันว่าบทความอ่านได้และเข้าใจได้
  • บางคนเสนอว่า "peer replication" ใช้ไม่ได้จริงกับการทดลองที่มีค่าใช้จ่ายระดับหลายพันล้านดอลลาร์ และการเพิ่มเมทาดาทาให้กับบทความที่ผ่านการ replication แล้วอาจเป็นแนวทางที่ทำได้จริงมากกว่า
  • ในสาขาอย่างวิทยาการคอมพิวเตอร์และแมชชีนเลิร์นนิง มีการเรียกร้องแนวทางแบบ "ไม่มีโค้ดก็เหมือนไม่เคยเกิดขึ้น" เพราะบทความจำนวนมากคลุมเครือเกินไป
  • บางคนแย้งว่าแนวคิด "peer replication" ถูกเข้าใจผิด หากหมายถึงให้ห้องแล็บอื่นสร้างชุดข้อมูลที่สอดคล้องกันเพื่อทำซ้ำผลลัพธ์ ก็ถือว่าไม่สามารถทำได้จริงเนื่องจากต้นทุนและเวลาที่ต้องใช้ในการเก็บข้อมูล
  • มีข้อเสนอให้แยก "peer review" ออกเป็น "การตรวจความอ่านได้" และ "คำชี้แจงความสามารถในการทำซ้ำ" โดยอย่างหลังจะอธิบายระเบียบวิธีและกลยุทธ์ที่ใช้ในการทำการทดลองอย่างละเอียด
  • การกำหนดให้ส่ง "การตรวจความสามารถในการทำซ้ำ" หรือ "แผนที่ระเบียบวิธี" สำหรับแต่ละบทความถูกมองว่าเป็นแนวทางที่สมจริงกว่า ซึ่งจะมีการโต้ตอบไปมาระหว่างผู้รีวิวกับผู้เขียน โดยมีเป้าหมายเพื่อให้สามารถทำซ้ำผลลัพธ์ได้
  • ผู้วิจารณ์บางรายระบุว่าข้อมูลสำคัญที่จำเป็นต่อการทำซ้ำผลลัพธ์มักถูกละไว้จากบทความ จึงทำให้ขาดความเชื่อมั่นต่อทิศทางทางวิทยาศาสตร์บางด้าน
  • แม้จะมีความรู้สึกสนับสนุน "peer replication" แต่ผู้วิจารณ์ก็ยืนยันว่ามันไม่ได้ใช้งานได้จริงเสมอไป โดยเฉพาะในกรณีของโครงการขนาดใหญ่อย่าง LIGO, LHC และ JWST