งานวิจัยที่เปิดกว้าง เข้มงวด และทำซ้ำได้: คู่มือสำหรับผู้ปฏิบัติงาน (2021)

 (stanforddatascience.github.io)
2 คะแนน โดย GN⁺ 2023-11-14 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • หากออกแบบและเผยแพร่งานวิจัยให้ เปิดกว้าง·โปร่งใส·ทำซ้ำได้ จะช่วยเพิ่มขอบเขตการเข้าถึงของผลลัพธ์ รวมถึงความสามารถในการตรวจสอบและการวิเคราะห์ซ้ำ
  • บทความวิชาการแบบเสียเงิน โค้ดที่ไม่เปิดเผย ข้อมูลที่เข้าถึงไม่ได้ และ ซอฟต์แวร์ที่เลิกใช้งานแล้ว ทำให้นักวิจัยคนอื่นตรวจสอบกระบวนการวิเคราะห์จริงได้ยาก
  • การออกแบบการทดลองและการวิเคราะห์ที่ไม่ดีทำให้การค้นพบที่มีข้อผิดพลาดสะสมอยู่ในวรรณกรรม และเพิ่มต้นทุนให้กับนักวิจัยหน้าใหม่ในการคัดแยกผลลัพธ์ที่เชื่อถือได้
  • แม้การเปิดเผยและการทำซ้ำได้จะต้องทำงานเพิ่ม และมีข้อจำกัดจากโครงสร้างการให้รางวัล แต่ก็ช่วยให้พบข้อผิดพลาดได้เร็วและเพิ่มความน่าเชื่อถือของงานวิจัย
  • คู่มือนี้แบ่งการออกแบบงานวิจัย การวิเคราะห์·รายงานข้อมูล และการเปิดเผยวัสดุวิจัยออกเป็น แนวปฏิบัติแบบโมดูลาร์ เพื่อให้เริ่มนำไปใช้จากส่วนที่จำเป็นก่อนได้

เหตุผลที่ต้องมีความเปิดกว้างและการทำซ้ำได้

  • หากงานวิจัยไม่ได้ดำเนินการและเผยแพร่ในรูปแบบที่ เปิดกว้าง·โปร่งใส·ทำซ้ำได้ ประโยชน์ของงานวิจัยจะลดลง
  • หากบทความถูกเผยแพร่ผ่านช่องทางที่เข้าถึงได้เฉพาะแบบเสียเงิน จำนวนคนที่ดูผลการวิจัยได้จะถูกจำกัด และศักยภาพในการเข้าถึงของผลงานก็จะลดลงด้วย
  • การวิเคราะห์จำนวนมากมีความซับซ้อน จึงแทบเป็นไปไม่ได้ที่จะอธิบายทางเลือกและขั้นตอนทั้งหมดได้ครบถ้วนด้วยบทความหลักเพียงอย่างเดียว
    • หากไม่มีโค้ดประกอบ คนอื่นก็ยากที่จะมั่นใจได้ว่าแท้จริงแล้วมีการดำเนินการอะไรไปบ้าง
  • แม้จะเปิดโค้ดแล้ว ก็ยังอาจทำซ้ำหรือวิเคราะห์ซ้ำงานวิจัยในอดีตได้ยาก เพราะเข้าถึงข้อมูลไม่ได้หรือมี ซอฟต์แวร์ที่เลิกใช้งานแล้ว
  • หากไม่สามารถวิเคราะห์ซ้ำงานวิจัยในอดีตได้ง่าย ชุมชนก็จะสำรวจเส้นทางการวิเคราะห์แบบอื่น รวมชุดข้อมูล หรือทำให้การทดลองทั่วไปกับสภาพแวดล้อมใหม่ได้ยากขึ้น

ต้นทุนของแนวปฏิบัติการวิจัยที่ไม่ดี

  • หากไม่ใส่ใจการออกแบบการทดลองและการวิเคราะห์อย่างเพียงพอ มีแนวโน้มที่ การค้นพบที่มีข้อผิดพลาด จะสะสมในวรรณกรรมมากขึ้น
  • ยิ่งมีผลลัพธ์ที่เชื่อถือได้ยากมากเท่าไร นักวิจัยหน้าใหม่ก็ยิ่งต้องใช้เวลามากขึ้นในการทำความเข้าใจหัวข้อวิจัยและสร้างความก้าวหน้าจริง

เหตุผลที่นักวิจัยไม่ค่อยกระตือรือร้นเรื่องการเปิดเผยและการทำซ้ำได้

  • งานวิจัยที่เปิดกว้าง โปร่งใส และทำซ้ำได้ต้องอาศัยงานเพิ่มเติม และโครงสร้างการให้รางวัลในปัจจุบันก็ไม่ได้ตอบแทนความพยายามเหล่านี้เสมอไป
    • อย่างไรก็ตาม หลายสาขากำลังเกิดการเปลี่ยนแปลง และบางชุมชนให้คุณค่ากับความพยายามเหล่านี้อย่างมาก
    • ต้นทุนของความผิดพลาดอาจสูง และความเปิดกว้างช่วยหลีกเลี่ยงข้อผิดพลาดได้
  • ข้อมูลบางประเภทไม่สามารถแชร์ได้อย่างถูกกฎหมายเนื่องจากข้อมูลส่วนบุคคล ลิขสิทธิ์ และข้อพิจารณาอื่น ๆ
    • งานวิจัยที่ใช้ข้อมูลประเภทนี้โดยทั่วไปอาจมีประโยชน์ต่อโลกน้อยกว่างานวิจัยที่ใช้ข้อมูลที่เปิดกว้างกว่า
    • ถึงอย่างนั้น การเปิดเผยการวิเคราะห์ที่ทำไป โปรโตคอลการเก็บข้อมูล และวิธีการอย่างการลงทะเบียนล่วงหน้าอย่างโปร่งใส ก็ช่วยเพิ่มความน่าเชื่อถือของงานวิจัยได้
  • บางคนกังวลว่าการเปิดเผยข้อมูลและโค้ดจะทำให้ข้อผิดพลาดหรือคุณภาพการเขียนโค้ดที่ต่ำถูกเปิดเผย
    • ความกังวลนี้เข้าใจได้ แต่โดยทั่วไปเป็นทิศทางที่ไม่ถูกต้อง
    • ข้อผิดพลาดควรถูกพบตั้งแต่เนิ่น ๆ และคนส่วนใหญ่จะมองการเปิดเผยในแง่บวก โดยไม่ขึ้นกับคุณภาพของโค้ด
    • หากแชร์โค้ดโดยคำนึงถึงการเปิดเผยขั้นสุดท้ายตั้งแต่แรก ก็จะช่วยในการปรับปรุงด้วย
  • หลายคนยังไม่รู้ว่าจะเริ่มจากตรงไหน
    • คู่มือ Open Science และการทำซ้ำได้ที่มีอยู่มักอยู่ในรูปแบบหนังสือเต็มเล่มหรือชุดเอกสารขนาดใหญ่ ทำให้เกิดภาระในการต้องเรียนรู้ปรัชญาทั้งหมดและแนวทางการวิจัยแบบครอบคลุม

แนวทางของคู่มือนี้

  • คู่มือนี้กล่าวถึงวิธีทำให้งานวิจัยค่อย ๆ เปิดกว้าง·โปร่งใส·ทำซ้ำได้ มากขึ้นในหลายรูปแบบ แทนที่จะเปลี่ยนงานวิจัยทั้งหมดในครั้งเดียว
  • แต่ละขั้นตอนสามารถให้ประโยชน์ได้ในระดับหนึ่งด้วยตัวเอง
  • แม้จะมีนัยละเอียดและข้อกำหนดเฉพาะตามสาขา แต่สาขาส่วนใหญ่ที่จัดการข้อมูลและการวิเคราะห์เชิงสถิติมีหลายอย่างให้เรียนรู้จากกันและกัน
  • รูปแบบของคู่มือนี้มุ่งเน้นสิ่งต่อไปนี้
    • โมดูลาร์: สามารถใช้แนวคิดแต่ละส่วนแยกกันหรือผสมผสานกันได้
    • ปฏิบัติได้จริง: มุ่งเน้นแนวปฏิบัติที่ทำได้จริงและมีผลกระทบสูง
    • ทั่วไป: ใช้ได้กับทุกสาขาที่จัดการข้อมูลและการวิเคราะห์เชิงสถิติ
    • กระชับ: มุ่งเป้าไปที่นักวิทยาศาสตร์ที่ยุ่งและไม่มีเวลาฟังหลักสูตรเต็มในตอนนี้

สามส่วนหลัก

  • ส่วนแรกกล่าวถึง การออกแบบงานวิจัยอย่างรอบคอบ เพื่อรับประกันและแสดงให้เห็นว่าผลลัพธ์และข้อสรุปมีความถูกต้องและมีประโยชน์
    • ตัดสินพารามิเตอร์การทดลองอย่างรอบคอบ เช่น ใช้การวิเคราะห์กำลังในการทดสอบเพื่อประมาณขนาดตัวอย่างที่เหมาะสม
    • แยกความแตกต่างระหว่างงานวิจัยเชิงสำรวจและงานวิจัยเชิงยืนยัน
    • วางแผนการวิเคราะห์ทางสถิติไว้ล่วงหน้า
    • เก็บข้อมูลที่เกี่ยวข้องทั้งหมดเพื่อให้เปรียบเทียบกับงานวิจัยในอดีตได้
    • รวมองค์ประกอบเพิ่มเติม เช่น การลงทะเบียนล่วงหน้า การเตรียมรับมือปัญหาที่อาจเกิดขึ้น และการพิจารณานัยด้านจริยธรรม
  • ส่วนที่สองกล่าวถึง แนวปฏิบัติที่ดีที่สุด สำหรับการวิเคราะห์ข้อมูลและการรายงานผลลัพธ์
    • การตัดสินใจและข้อพิจารณาที่จำเป็นก่อนจัดการข้อมูล
    • แผนการวิเคราะห์ทางสถิติล่วงหน้า
    • การสร้างข้อมูลที่เหมาะสม
    • การเตรียมข้อมูลอย่างโปร่งใส
    • การแสดงภาพข้อมูลที่ให้ข้อมูลครบถ้วน
    • การสรุปข้อมูลโดยใช้สถิติที่เหมาะสม
    • การวิเคราะห์ข้อมูลที่หลีกเลี่ยงข้อผิดพลาดที่พบบ่อย
    • ข้อพิจารณาเพิ่มเติมสำหรับงานวิจัยทางการแพทย์
    • การรายงานการวิเคราะห์ทางสถิติอย่างโปร่งใสและครอบคลุม
    • ตัวอย่างจากวรรณกรรมที่ตีพิมพ์ซึ่งแสดงหลักการของคู่มือ
  • ส่วนที่สามกล่าวถึงวิธีเปิดเผยวัสดุวิจัยที่เกี่ยวข้องทั้งหมดให้ทุกคนเข้าถึงได้
    • Open Data: เปิดเผยข้อมูลดิบเพื่อการวิจัยเพิ่มเติมและการทำซ้ำ
    • Open Source Code: ทำให้ pipeline การวิเคราะห์โปร่งใส และเปิดให้ผู้อื่นนำไปใช้หรือตรวจสอบได้
    • Reproducible Environments: ไม่เพียงให้ข้อมูลและโค้ด แต่ยังให้สภาพแวดล้อมที่สามารถรันการวิเคราะห์ซ้ำได้ง่าย
    • Open Publication Models: ทำให้ผลงานวิชาการที่เกี่ยวข้องกับงานวิจัยทุกคนสามารถดูได้
    • Documenting Processes and Decisions: ทำให้ชัดเจนไม่เพียงแต่ว่าทำอะไรและทำอย่างไร แต่ยังรวมถึงเหตุผลที่ทำเช่นนั้น ผ่านกลไกอย่างสมุดบันทึกการทดลองแบบเปิดเผย

ขอบเขตของภาคผนวก

  • ภาคผนวกครอบคลุมทรัพยากรเสริม เช่น คำถามที่พบบ่อย ข้อพิจารณาเฉพาะสาขา และลิงก์ไปยังแหล่งข้อมูลเพิ่มเติม

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-11-14
ความคิดเห็นบน Hacker News

  • การบันทึกเวอร์ชันของแพ็กเกจที่ใช้ก็เป็นเรื่องดี แต่แนวทางที่ดีกว่าคือการให้คำอธิบายสภาพแวดล้อมที่ล็อก dependency chain ไว้อย่างสมบูรณ์ เช่น Guix channel หรือ Nix flake ควบคู่ไปกับโค้ด
    Docker ก็สามารถบังคับใช้เวอร์ชันที่ตรึงไว้ได้ แต่แค่ apt update ครั้งเดียวก็อาจพังได้ทั้งหมด
    Nix และ Guix ไม่เพียงให้สภาพแวดล้อมสำหรับรันโค้ดด้วยเครื่องมือและเวอร์ชันเดียวกัน แต่ยังทำให้สร้าง container image ที่แชร์ต่อได้ด้วย

  • เป็นเรื่องดีมากที่มหาวิทยาลัยที่ปกติมีค่าใช้จ่ายสูงอย่าง Stanford ให้บริการ สื่อการเรียนฟรี

  • มีใครเคยใช้บ้างไหม? ใช้ดีไหม?

    • รู้สึกเหมือนเป็น สื่อเริ่มต้น ที่เหมาะสำหรับอธิบายให้คนที่เพิ่งเข้ามาในสายนี้
      ทีมของเรากำลังย้ายจากฝั่งซอฟต์แวร์ไปสู่ data science และเนื้อหานี้ดูเหมือนจะช่วยเชื่อมช่องว่างนั้นได้

  • ในหน้านี้มีการฝัง https://stanforddatascience.github.io/best-practices/index.h... ไว้

    • เลยเปลี่ยนไปใช้ลิงก์นั้นแทน https://datascience.stanford.edu/programs/stanford-data-scie... ด้านบน
    • ถ้าใส่เข้าไปใน ChatGPT แบบปรับแต่งเอง แล้วให้ถาม GPT โดยตรง ก็น่าจะมีประโยชน์
    • หน้าเดิมบน iPhone มี fixed header กินพื้นที่หน้าจอเกือบ 50%

  • สรุปได้ว่า handbook นี้เป็นคู่มือที่นำเสนอ best practices เพื่อทำให้วิทยาศาสตร์มีความ เปิดกว้าง โปร่งใส และทำซ้ำได้ มากขึ้น