1 คะแนน โดย GN⁺ 2024-04-21 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • นักวิจัยจากมหาวิทยาลัยมิชิแกนวิเคราะห์ บันทึกการให้คะแนนบน Canvas มากกว่า 30 ล้านรายการ และพบว่านักศึกษาที่นามสกุลอยู่ช่วงท้ายของลำดับตัวอักษรมีแนวโน้มได้คะแนนต่ำกว่า
  • สาเหตุหลักคือการจัดเรียงเริ่มต้นของ Canvas ที่แสดงงานส่งตาม ลำดับตัวอักษรของนามสกุล และอคติจากลำดับที่เกิดขึ้นเมื่อผู้ให้คะแนนประเมินงานไปตามลำดับ
  • นักศึกษาที่นามสกุลขึ้นต้นด้วย A-E ได้คะแนน สูงกว่า 0.3 คะแนน จากคะแนนเต็ม 100 เมื่อเทียบกับการให้คะแนนแบบสุ่ม ขณะที่นักศึกษาที่นามสกุลอยู่ท้ายลำดับตัวอักษรได้ ต่ำกว่า 0.3 คะแนน ทำให้เกิดช่องว่างรวม 0.6 คะแนน
  • เมื่อผู้ให้คะแนนประมาณ 5% ให้คะแนนจาก Z ไป A ช่องว่างดังกล่าวกลับทิศทาง ซึ่งสนับสนุนการตีความว่า ลำดับการให้คะแนน ไม่ใช่ตัวนามสกุลเองที่ทำให้เกิดความต่างของคะแนน
  • แม้ความต่าง 0.6 คะแนนจะดูเล็ก แต่สามารถส่งผลต่อ GPA รายวิชาและโอกาสด้านอาชีพ จึงจำเป็นต้องเปลี่ยนการให้คะแนนแบบสุ่มให้เป็นค่าเริ่มต้น และลดภาระการให้คะแนนในชั้นเรียนขนาดใหญ่

ช่องว่างจากอักษรย่อนามสกุลที่เกิดจากการจัดเรียงเริ่มต้นของ Canvas

  • นักวิจัยจากมหาวิทยาลัยมิชิแกนรวบรวม ข้อมูลการให้คะแนนย้อนหลัง ของทุกหลักสูตร นักศึกษา และงานที่เข้าถึงได้บน Canvas ตั้งแต่ภาคเรียนฤดูใบไม้ร่วงปี 2014 ถึงภาคเรียนฤดูร้อนปี 2022
  • ข้อมูลที่นำมาวิเคราะห์คือบันทึกการให้คะแนน มากกว่า 30 ล้านรายการ และเสริมด้วยข้อมูลจากสำนักทะเบียนของมหาวิทยาลัยเกี่ยวกับภูมิหลังนักศึกษา ประชากรศาสตร์ และเส้นทางการเรียนรู้
  • นักศึกษาที่นามสกุลอยู่ช่วงท้ายของลำดับตัวอักษรมีรูปแบบที่ได้รับคะแนนต่ำกว่า ได้รับฟีดแบ็กเชิงลบมากกว่าและสุภาพน้อยกว่า รวมถึง คุณภาพการให้คะแนน ที่วัดจากข้อร้องเรียนของนักศึกษาก็ต่ำลงด้วย
  • บทความวิชาการที่เกี่ยวข้องคือ 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity และอยู่ระหว่างการพิจารณาของ Management Science

กลไกการทำงานของอคติจากการให้คะแนนตามลำดับ

  • Canvas จัดเรียงงานที่นักศึกษาส่งตาม ลำดับตัวอักษรของนามสกุล เป็นค่าเริ่มต้น
  • การออกแบบเริ่มต้นนี้ไม่ได้จำกัดอยู่แค่วิชาใดวิชาหนึ่ง แต่อาจแพร่ไปยังหลายสถาบันและหลายรายวิชาที่ใช้ระบบจัดการการเรียนรู้
  • พบรูปแบบว่า ยิ่งผู้ให้คะแนนประเมินงานมากขึ้น คุณภาพการให้คะแนนก็ยิ่งลดลง
  • ตามคำกล่าวของ Wang นักศึกษาที่นามสกุลขึ้นต้นด้วย A, B, C, D, E ได้คะแนนสูงกว่าการให้คะแนนในลำดับสุ่ม 0.3 คะแนนจากคะแนนเต็ม 100 ส่วนผู้ที่นามสกุลอยู่ท้ายลำดับตัวอักษรได้ต่ำกว่า 0.3 คะแนน

ผลตรงกันข้ามที่เห็นจากการให้คะแนนย้อนลำดับ

  • ผู้ให้คะแนนประมาณ 5% ให้คะแนนจาก Z ไป A
  • ในกรณีนี้ ช่องว่างกลับทิศทางตามที่คาด
    • นักศึกษาที่นามสกุลขึ้นต้นด้วย A-E เสียเปรียบ
    • นักศึกษาที่นามสกุลขึ้นต้นด้วย W-Z ได้คะแนนสูงกว่าตอนให้คะแนนแบบสุ่ม
  • ข้อสังเกตนี้ช่วยเสริมการตีความว่าสาเหตุของช่องว่างคะแนนเริ่มแรกไม่ใช่นามสกุลเอง แต่เป็น ลำดับการให้คะแนน

ผลกระทบต่อนักศึกษาจากความต่างของคะแนนเล็กน้อย

  • ความต่าง 0.6 คะแนนอาจดูเล็ก แต่ส่งผลต่อ GPA รายวิชา ของนักศึกษา
  • การเปลี่ยนแปลงของ GPA อาจส่งผลเสียต่อโอกาสด้านอาชีพของนักศึกษาแต่ละคนด้วย
  • Wang กล่าวว่า สิ่งที่เกิดขึ้นโดยไม่รู้ตัวกับผู้ให้คะแนนสามารถนำไปสู่ ผลกระทบทางสังคม ได้จริง

แนวคิดการวิจัยและปัจจัยเรื่องความล้า

  • แนวคิดการวิจัยเกิดขึ้นระหว่างการหารือเกี่ยวกับงานวิจัยด้านเทคโนโลยีการศึกษาของ Wang และงานวิจัยด้านปัญญาประดิษฐ์ของ Pei
  • Pei สังเกตว่า การติดป้ายกำกับข้อมูล ซึ่งเป็นงานพื้นฐานของแมชชีนเลิร์นนิง ก็เป็นงานตามลำดับที่ยาวและน่าเบื่อเช่นกัน แต่มีการสุ่มลำดับ
  • ข้อสังเกตนี้นำไปสู่การศึกษานำร่องที่สำรวจความสัมพันธ์ระหว่างเวลาการให้คะแนนกับช่องว่างของผลการเรียนในระบบการศึกษาอย่าง Canvas
  • ในการทำงานเป็นเวลานาน ความล้าจะสะสม และสมาธิกับความสามารถทางการรับรู้จะลดลง ดังนั้น ความล้า อาจเป็นหนึ่งในปัจจัยหลักที่ทำให้เกิดผลดังกล่าว

แนวทางปรับปรุงที่เสนอ

  • Canvas มีตัวเลือกให้ให้คะแนนงานตาม ลำดับสุ่ม และผู้สอนบางส่วนก็ใช้งานตัวเลือกนี้
  • แต่โหมดเริ่มต้นของ Canvas และระบบจัดการการเรียนรู้ออนไลน์อื่น ๆ ยังคงเป็นลำดับตัวอักษร
  • วิธีแก้ที่ง่ายที่สุดคือเปลี่ยนลำดับสุ่มให้เป็น การตั้งค่าเริ่มต้น
  • สำหรับสถาบันวิชาการ ยังมีข้อเสนอทางเลือกดังนี้
    • จ้างผู้ให้คะแนนเพิ่มในชั้นเรียนขนาดใหญ่
    • กระจายงานให้คะแนนให้คนจำนวนมากขึ้น
    • จัดการฝึกอบรมเพื่อให้ตระหนักและลดอคติระหว่างการให้คะแนน

1 ความคิดเห็น

 
GN⁺ 2024-04-21
ความคิดเห็นจาก Hacker News
  • ทำงานอยู่ในแวดวงวิชาการ เวลาตรวจข้อสอบ ลำดับของกองกระดาษคำตอบคือเรียงตามลำดับที่เก็บจากห้องเรียน และโดยปกติจะมี 5 คนมารวมกันในห้องเดียว แต่ละคนรับผิดชอบเฉพาะบางข้อ เพื่อรักษา ความสม่ำเสมอ
    แต่ละคนจะหยิบกองขึ้นมา หาและดึงกระดาษคำตอบที่ข้อของตัวเองยังไม่ได้ตรวจออกมา ทำให้กระดาษคำตอบถูกสลับไปมาค่อนข้างมาก และลำดับการตรวจจริง ๆ แทบจะถือว่าสุ่มได้
    ในทางกลับกัน งานรายสัปดาห์ระหว่างภาคเรียนจะถูก commit เข้า repository โดยโฟลเดอร์ของนักศึกษาแต่ละคนขึ้นต้นด้วยตัวอักษรแรกของชื่อ ทุกคนเห็นตรงกันว่าเพื่อความยุติธรรม ควรสลับลำดับการตรวจทุกสัปดาห์ ตอนช่วงแรกยังไม่เหนื่อยมาก และพอเหลืออีกสัก 2 ชิ้นสุดท้ายก็รู้สึกดีขึ้นเพราะคิดว่าใกล้จบแล้ว โดยเฉพาะช่วงแรก ๆ ยังไม่ได้เห็นข้อผิดพลาดที่พบบ่อยทั้งหมด จึงยังจับทางไม่ได้และอาจพลาดไป แต่พอถึงงานส่งท้าย ๆ ก็จะจับได้ทันที
    ยังมี ผลของตัวอักษร อีกแบบหนึ่งด้วย ตอนอยู่ประถม เพราะอยู่ต้นสุดของรายชื่อชั้นเรียน เลยมักต้องรับหน้าที่อย่างถือบัตรกลุ่มตอนทัศนศึกษาพิพิธภัณฑ์ จดอะไรบางอย่าง เป็นคนแรกที่ทำสิ่งที่ไม่มีใครอยากทำต่อหน้าทุกคน หรือเข้ารับการประเมินพละเป็นคนแรก เป็นเด็กค่อนข้างขี้อาย เลยรำคาญเรื่องนี้มาตั้งแต่ ป.1

    • กลยุทธ์ของผมคืออย่างที่ว่าไว้ คือ ตรวจแยกตามข้อ สำหรับแต่ละข้อ ผมจะหาคำตอบที่ได้คะแนนเต็มก่อน แล้วจัดคำตอบที่เหลือเป็นกองตามประเภทความผิดพลาดที่ทำ
      ทำแบบนี้แล้วนักศึกษาที่ทำผิดแบบเดียวกันจะได้คะแนนเท่ากัน และทุกครั้งที่ตรวจจบหนึ่งข้อ ลำดับกระดาษคำตอบก็มักจะถูกสลับไปเองโดยธรรมชาติ
      ไม่จำเป็นสำหรับข้อปรนัยง่าย ๆ และคงไม่เหมาะกับเรียงความยาว ๆ แต่เหมาะมากกับคำถามตอบสั้นเชิงเทคนิคในสาขาวิทยาการคอมพิวเตอร์และความปลอดภัย
    • เพื่อนที่เป็นครูจะดูกองงานสองรอบเสมอ รอบแรกแก้ข้อผิดพลาดทั้งหมด รอบที่สองค่อยใส่คะแนน
      เหตุผลคือ ต้องเห็นข้อผิดพลาดทั้งหมดก่อน จึงจะตัดสินได้ว่าข้อผิดพลาดนั้นจริง ๆ แล้วแย่แค่ไหน
    • ราวปี 2000 ผมลืมเขียนเรียงความที่ต้องส่งวันนั้น และมีเวลาแค่ประมาณ 10 นาทีในห้องคอมพิวเตอร์ก่อนเข้าแถวตอนเช้า หลังจากเขียนบทนำกับบทสรุปแล้ว ที่เหลือก็เติมด้วยการคัดลอกทั้งสองส่วนแล้ววางซ้ำ ๆ อย่างน้อยก็คงขำดี และถ้ามีใครอ่านจริง ๆ ก็น่าจะชัดเจนว่าเป็นงานที่ไร้สาระ
      แต่กลับได้ 80% โดยไม่มีบันทึกหรือเครื่องหมายใด ๆ
      ตลอด 25 ปีที่ผ่านมา ผมสงสัยมาตลอดว่างานนักเรียนถูกตรวจจริง ๆ มากแค่ไหน
      ผมทำงานใน EdTech และทุกครั้งที่เพิ่มฟีเจอร์ที่ต้องให้ครูตรวจงานนักเรียนด้วยตนเอง ก็เห็นได้ว่าครูบางคนตั้งใจมาก ส่วนบางคนแทบไม่แตะเลย
    • วิธีทั้งหมดในเธรดนี้สุดท้ายก็แค่สุ่มว่าใครจะได้รับ การให้คะแนนที่ไม่ยุติธรรม เท่านั้น
    • ในการตรวจงานเรียงความหรือข้อสอบแบบเรียงความ สิ่งสำคัญคือต้องจับระดับการเขียนโดยรวมก่อนให้คะแนนรายชิ้น และต้องระวังไม่ให้ให้คะแนนสูงหรือต่ำเกินไปกับงานที่อยู่ต้นหรือท้ายกอง ดังนั้นผมจึงใช้ การตรวจ 3 ขั้น ด้วยปากกาสามสี
      ปากกาแดงรอบแรกใช้ทำเครื่องหมายปัญหาเฉพาะจุด เช่น สะกดผิดหรือใช้ภาษาอย่างชัดเจนผิด ระหว่างขั้นตอนนี้ก็จะเริ่มเห็นระดับการเขียนโดยรวมไปเอง และสามารถไล่อ่านทุกชิ้นอย่างรวดเร็วได้
      ปากกาเขียวรอบที่สองใช้ทำเครื่องหมายไว้ที่ขอบกระดาษเป็นหลัก เมื่อมีประเด็นที่ดีหรือไปถึงข้อสรุป เพื่อเตรียมสำหรับขั้นถัดไป ขั้นนี้ก็ใช้กับงานทุกชิ้นเช่นกัน
      ปากกาน้ำเงินรอบที่สามใช้ประเมินคุณภาพของงานเขียนและวิจารณ์ อาจเขียนโน้ตสั้น ๆ ที่ขอบกระดาษหรือใส่คอมเมนต์ท้ายเรียงความ
      นักเรียนบางคนหัวเราะเมื่อเห็นสีสวย ๆ แต่เมื่ออธิบายวิธีและเหตุผลให้ฟัง ก็เข้าใจชัดเจน และคิดว่าน่าจะรู้สึกขอบคุณด้วย
  • อาจเกี่ยวหรือไม่เกี่ยวก็ได้ แต่ตอนผมเรียนโรงเรียน K-12 ในยุค 80 และต้นยุค 90 ที่นั่งมักจัดตามลำดับตัวอักษรของนามสกุลจากหน้าไปหลังเสมอ เด็กที่นามสกุลขึ้นต้นประมาณ A-D จะอยู่ข้างหน้าเสมอ ส่วน U-Z จะอยู่ข้างหลังเสมอ และเป็นแบบนี้ทุกวิชา
    ผมจำได้ว่าเพื่อนหลายคนของผมก็มีนามสกุลอยู่ใกล้กับของผม เพราะเรามักได้นั่งใกล้กันเสมอ พอถึงมัธยมปลาย ดูเหมือนว่านักเรียน ผลสัมฤทธิ์สูง ที่นามสกุล A-D จะมีมากกว่าชัดเจน และฝั่ง U-Z ก็มีเด็กมีปัญหามากกว่า
    เป็นผลจากการได้นั่งใกล้ครูและได้รับความสนใจมากกว่าหรือเปล่า? ไม่ใช่การทดลองและไม่มีกลุ่มควบคุม จึงไม่มีทางรู้

    • ปรากฏการณ์ที่ว่า “นักเรียนที่นั่งใกล้กว่ามีผลสัมฤทธิ์สูงกว่า” อาจอธิบายภาพเหมารวมจำนวนมากเกี่ยวกับคนใส่แว่นได้ด้วย ผมใช้เวลาหลายปีกว่าจะรู้ว่าตัวเองสายตาสั้นเล็กน้อย และช่วงครึ่งแรกของชีวิตในโรงเรียน ผมนั่งแถวครึ่งหน้าของห้องเพื่อให้อ่านกระดานได้สะดวก
      เพื่อนของผมหลายคนก็ใส่แว่น และเพราะแว่นไม่ได้แก้สายตาให้สมบูรณ์ จึงชอบนั่งข้างหน้า
    • ตอนนี้ผมเป็นครูแล้ว อ่านเรื่องนี้แล้วสะดุ้งเลย เคยได้ยินจากพ่อแม่ว่าตอนพวกเขาเรียนที่อินเดียช่วงทศวรรษ 60–80 การจัดที่นั่งเป็นแบบนี้เป๊ะ ๆ เพียงแต่การให้คะแนนใช้ เลขที่ประจำตัว/เลขที่เช็กชื่อ ที่กึ่งไม่เปิดเผยชื่อ
    • การหมุนเวียนที่นั่ง เป็นทางแก้ง่าย ๆ โรงเรียนมัธยมของเรา ทุกวันจันทร์ทุกแถวจะขยับไปข้างหน้าหนึ่งตำแหน่ง และแถวหน้าสุดจะย้ายไปข้างหลัง
      แน่นอนว่าอาจยังพูดได้ว่านักเรียนที่เริ่มจากข้างหน้าในสัปดาห์แรกยังมีข้อได้เปรียบอยู่ แต่คงไม่ได้มากขนาดนั้น
  • ชื่อย่อของผมคือ Z กับ W เลยรู้สึกถึง การเรียงตามตัวอักษร อยู่บ่อย ๆ พอถามเพื่อนที่ชื่อย่อเป็น A กับ B เขาบอกว่าไม่เคยรู้สึกถึงเรื่องนี้เลย
    ผมไม่รู้สึกถึงความต่างด้านการให้คะแนนหรืออันดับ แต่ได้ยินคำว่า “ของ/เวลา ฯลฯ หมดก่อนถึงตาคุณ” บ่อยกว่ามาก และนั่นทำให้ผมไวต่อปัญหาเรื่องการวางแผนและการจัดการมากขึ้นมาก

    • ตอนเด็ก ๆ ลูกแก้วกำลังฮิต และถ้าเล่นลูกแก้วในห้องเรียน ครูก็จะเอาไปใส่ขวดแก้วใบใหญ่ พอขวดเต็มก็เรียกเด็ก ๆ มาแล้วคืนให้คนละกำมือ
      ผมอยู่ท้ายสุดของลำดับตัวอักษร และเรื่องนี้ก็เป็นปัญหาอยู่แล้วเวลาต้องเลือกหนังสืออ่าน เราเลือกหนังสือได้ แต่เรียกตามลำดับตัวอักษรเสมอ พอถึงตาผมก็เหลืออยู่ไม่กี่เล่ม และหนังสือยอดนิยมก็หายไปหมดแล้ว
      พอในที่สุดถึงตาผมรับลูกแก้ว มันก็หมดแล้ว ผมถามว่า “ลูกแก้วของผมอยู่ไหนครับ?” ครูยักไหล่แล้วบอกว่า “หมดแล้ว” ตอนนั้นน่าจะประมาณ 7 ขวบ ผมร้องไห้หนักมาก และคิดว่าเด็กคนอื่น ๆ แบ่งลูกแก้วให้บ้าง แต่จริง ๆ แล้วประเด็นไม่ใช่ตัวลูกแก้วเอง
      จนถึงตอนนี้ก็ยังไม่เข้าใจว่าจะคาดหวังผลลัพธ์อื่นได้อย่างไร
    • เช่นเดียวกับความไม่เท่าเทียมส่วนใหญ่ ฝ่ายที่ได้รับประโยชน์มักไม่ค่อยตระหนักถึง อภิสิทธิ์ ของตัวเอง
    • นึกถึงเรื่องขำ ๆ ตอน ป.4 หรือ ป.5 ได้ เวลาชั้นเรียนเข้าแถว จะเรียงตามนามสกุลเสมอ และนามสกุลของผมขึ้นต้นด้วย Ö ซึ่งเป็นตัวอักษรสุดท้ายของอักษรนอร์ดิก เลยอยู่ท้ายสุดตลอด
      วันหนึ่งครูพูดทำนองว่า “วันนี้เรามาย้อนลำดับกัน แต่ให้เรียงตามชื่อจริงด้วยนะ” ชื่อจริงของผมขึ้นต้นด้วย A สุดท้ายผมก็ได้อยู่ท้ายสุดอีก ทุกคนหัวเราะกันใหญ่
    • ดูเหมือนเป็นตัวอย่างที่ดีของคนมีอภิสิทธิ์ที่มีภาระทางวัฒนธรรมน้อยกว่า จึงมักไม่สังเกตว่าตนได้รับอภิสิทธิ์อยู่ สิ่งที่ดูปกติและยุติธรรมสำหรับเพื่อนคนนั้น แท้จริงแล้วเป็น ข้อได้เปรียบ ที่เขาไม่เคยแม้แต่จะคิดถึง
    • นอกโรงเรียนแล้ว ผมนึกไม่ออกเลยสักครั้งที่ชื่อของผมถูกเรียงตามลำดับตัวอักษร ผมมีอักษรย่อกลางด้วย เลยสงสัยว่าสถานการณ์แบบไหนที่ทำให้เรื่องนี้เกิดขึ้นบ่อย ๆ
  • ที่มหาวิทยาลัยของเรา การให้คะแนนแทบทั้งหมดถูกทำแบบ ใช้นามแฝง ตอนต้นปีทุกปี เราจะได้รับเลขประจำตัวผู้เข้าสอบแบบสุ่ม และจะเขียนเลขนั้นลงในงานหรือข้อสอบสำคัญ ๆ
    งานในชั้นเรียนที่สำคัญน้อยกว่านั้นมักไม่ได้ทำถึงขั้นนี้ และใช้รหัสนักศึกษาแทน แต่แนวคิดพื้นฐานก็เหมือนกัน
    นอกจากวิทยานิพนธ์กับงานเล็ก ๆ น้อย ๆ บางชิ้นที่ไม่มีผลต่อเกรดรวมแล้ว เราไม่ได้เขียนชื่อเลย การยกเลิกความเป็นนิรนามก็ไม่ได้ยากขนาดนั้น แต่ก็ทำให้ระบบมีความสมบูรณ์น่าเชื่อถือขึ้นเล็กน้อย
    เป็นวิธีที่นำไปใช้ได้ง่ายมาก ๆ เลยไม่เข้าใจว่าทำไมถึงไม่ใช้กันบ่อยกว่านี้
    สภาพแวดล้อมการเรียนรู้เสมือนของเราก็น่าจะจัดเรียงงานตาม ลำดับเวลาที่ส่ง มากกว่าตัวระบุใด ๆ

    • ผลลัพธ์ที่เป็นไปได้ตรงนี้อาจเป็นแค่การลดคะแนนแบบสุ่ม แทนที่จะลดในรูปแบบที่เกี่ยวข้องกับตัวนักศึกษาหรือเปล่า? ถ้าปัญหาอยู่ที่การจัดเรียง เลขประจำตัวผู้เข้าสอบแบบสุ่มก็ยังอาจถูกนำไปจัดเรียงได้อยู่ดี
      มันแก้อคติต่อบุคคลได้ แต่แก้อคติที่เกี่ยวข้องกับวิธีจัดเรียงงานที่ส่งมาไม่ได้
      ดูเหมือนว่าควรใช้ทั้ง ตัวระบุแบบสุ่ม และลำดับการจัดเรียงแบบสุ่มควบคู่กัน
    • สำหรับการสอบมหาวิทยาลัย ดูสมเหตุสมผลทีเดียว สอบก็คือสอบ และการที่นักศึกษาพูดเก่งหรือมีส่วนร่วมในชั้นเรียนมากแค่ไหนไม่ควรเกี่ยวกับคะแนนสอบ
      แต่ผมยังไม่ค่อยมั่นใจว่า ข้อเสนอสำหรับคอนเฟอเรนซ์แบบ blind เป็นไอเดียที่ดีไหม จากประสบการณ์ที่ผ่านมา ถ้ารู้ว่าใครบางคนแทบจะแน่นอนว่าจะทำผลงานได้เยี่ยม ผมก็ไม่ค่อยอยากเลือกคนสุ่ม ๆ ที่ไม่มีคุณสมบัติเด่นชัดในหัวข้อเดียวกัน แน่นอนว่าการเลือกแต่เพื่อนในคณะกรรมการก็ชัดเจนว่าอาจเลยเถิดได้
    • เคยเรียนวิชาแบบนั้นมาก่อน ตอนต้นเทอม อาจารย์กำหนดชื่อผู้ใช้ที่ดูเหมือนสุ่มให้กับนักศึกษาแต่ละคน แล้วหลังจากนั้นการมีส่วนร่วมทั้งหมดก็อิงตามชื่อผู้ใช้นั้น
      แม้ชื่อผู้ใช้จะดูสุ่ม แต่บนกระดานสนทนาของวิชา ชื่อบางชื่อก็เริ่มมีชื่อเสียงขึ้นมา และนักศึกษาก็เริ่มจำชื่อบางชื่อได้
      แต่เนื่องจากวิชาวิทยาการคอมพิวเตอร์มีเกณฑ์การให้คะแนนค่อนข้างเป็นวัตถุวิสัยมาก เลยไม่แน่ใจว่าความเป็นนิรนามสำคัญแค่ไหน
    • ผมรู้สึกว่าได้รับ ฟีดแบ็ก ได้ดีกว่าเมื่อครูรู้ว่าผมเป็นใคร คะแนนเป็นเรื่องรอง
    • ประเด็นสำคัญคือระบบอัตโนมัติอย่าง Canvas แม้จะซ่อนชื่อ ก็ยังอาจแสดงผลตาม ลำดับตัวอักษร ได้อยู่ดี ต่อให้ใช้นามแฝง ถ้าไม่สลับลำดับก็ไม่ได้ช่วยอะไร
  • แม้จะบอกว่า “ทางแก้ง่าย ๆ คือทำให้ลำดับสุ่มเป็นค่าเริ่มต้น” แต่ความหมายของคำว่าแก้ก็คืออคติกลายเป็นแบบสุ่ม น่าจะยังมีนักศึกษาที่ถูกให้คะแนนเป็นคนสุดท้ายและยังได้คะแนนต่ำอยู่ดี

    • ไม่ได้สมบูรณ์แบบ แต่ถ้าสุ่มใหม่ทุกงาน ก็ดีกว่าปัจจุบัน เพราะอย่างน้อยก็จะเสียเปรียบแค่บางครั้ง แทนที่จะเสียเปรียบตลอด
    • ยังมีปัจจัยอื่นที่มีผลต่อเกรดมากกว่านี้ เช่น เข้าใจเนื้อหาหรือไม่ มีความสามารถเสนอวิธีแก้หรือไม่ เป็นต้น ที่พูดแบบนี้เพราะหลายคอมเมนต์ดูเหมือนมองเรื่องนี้ว่าเป็นอคติขนาดใหญ่มากต่อบางคน
      จากประสบการณ์การเป็นติวเตอร์ อคตินี้มีอยู่จริงแน่นอน แต่มันไม่สามารถเปลี่ยนคำตอบที่ผิดสนิทหรือคำตอบที่ถูกอย่างยอดเยี่ยมให้กลายเป็นอย่างอื่นได้
      ช่วงหลัง ๆ ผมรู้แล้วว่านักศึกษาคนไหนกำลังลำบากและคนไหนเก่ง ถ้านักศึกษาที่เก่งทำผิด แปลว่ามีอะไรผิดปกติใหญ่ ๆ จึงจะกวาดตาดูก่อน จากนั้นดูปัญหาของนักศึกษาที่ลำบาก แล้วค่อยให้คะแนนส่วนที่เหลือตามลำดับที่ได้รับ และท้ายสุดจึงกลับมาดูนักศึกษาที่ลำบากกับนักศึกษาที่เก่ง ผมต้องมี เส้นฐาน เพื่อดูว่าคำตอบที่แย่ที่สุดจริง ๆ แล้วแย่แค่ไหน บางชุดงานอาจเรียกได้ว่าเหมือนการผจญภัยโดยบังเอิญ
      เขียนแบบนี้แล้วฟังดูเย็นชาไร้ความรู้สึกมาก แต่การโฟกัสกับกลุ่มล่างหนึ่งในสามในแบบฝึกหัด และบอกผู้ช่วยสอนกับอาจารย์ว่าพวกเขาติดตรงไหน เป็นประโยชน์ต่อทุกคน โดยเฉพาะนักศึกษาเหล่านั้นมาก ช่วยให้พวกเขาจับพื้นฐานสำคัญได้ถูกต้อง
    • ถ้ามองตลอดชีวิตมหาวิทยาลัย มันจะเฉลี่ยกันไปเอง ในทางกลับกัน ถ้ายังคงใช้ลำดับตัวอักษร ก็จะถูก ทำให้เสียเปรียบอย่างเป็นระบบ
  • ตอนที่ผมลองให้คะแนนครั้งแรกเมื่อไม่กี่เดือนก่อน ผมก็รู้สึกถึงเรื่องนี้เหมือนกัน
    คำตอบชุดแรก ๆ ที่ให้คะแนนไม่ได้ทำผิดบางอย่าง หรือ ตอบในแบบที่คาดไว้ แต่พอภายหลังเจอคำตอบหรือข้อผิดพลาดที่ไม่คาดคิด ก็ต้องกลับมาคิดคะแนนของคำตอบที่ให้ไปแล้วใหม่ เช่น บางครั้งคำตอบของใครบางคนทำให้ผมรู้สึกว่าคำตอบที่ผมเคยมองว่าผิด จริง ๆ แล้วผิดน้อยกว่าที่คิด
    เป็นคลาสเล็ก ๆ จึงย้อนกลับไปได้ และลำดับที่ส่งมาก็ถูกสลับอยู่พอสมควรแล้ว เลยให้คะแนนแบบนั้น แต่ถ้าไม่ใช่แบบนั้นก็คงเกิด อคติ แน่ ๆ

    • ผมรู้สึกเรื่องนี้เป็นพิเศษตอนให้คะแนนโปรเจกต์เขียนโปรแกรม เพราะมันซับซ้อนอยู่บ้าง
      ต้องเห็นหลายครั้งก่อนถึงจะประเมินใหม่ว่าบั๊กบางอย่างพบบ่อยมาก และกลายเป็นว่ามันเป็นข้อผิดพลาดที่ทำได้ง่าย
      หรือบางครั้งก็พบว่าบั๊กใหม่ที่ตอนแรกไม่รู้จักนั้นพบบ่อยพอสมควร ถ้าเป็นแบบนั้นก็ต้องอัปเดตเทสต์แล้วรันใหม่ให้ทุกคน
      ผมพยายามทำให้ละเอียดพอสมควร และสุดท้ายก็มักกลับไปดูทั้งกองใหม่ แต่มันทรมานจริง ๆ จะทำลวก ๆ ก็ได้ แต่รู้สึกว่านี่เป็นงานที่นักศึกษาใช้เวลาหลายสัปดาห์ จึงควรให้ฟีดแบ็กอย่างซื่อตรง
      ผลคือการให้คะแนนมีแนวโน้ม ใจกว้างขึ้น ด้วย ถ้าขี้เกียจเช็กแค่บั๊กไม่กี่อย่าง ก็จะหักคะแนนมากในแต่ละปัญหา ซึ่งไม่ยุติธรรมกับนักศึกษาที่บังเอิญเจอบั๊กที่เราคาดไว้ ถ้าหาบั๊กทั้งหมด ก็จำเป็นต้องหักแค่ไม่กี่คะแนนต่อบั๊กหนึ่งตัว เพื่อไม่ให้คะแนนของทุกคนพัง
    • การให้คะแนนตามลำดับการส่งก็ทำให้เกิด อคติ แบบอื่นเหมือนกัน
      ผมก็อยู่ในสถานการณ์เดียวกันและทำแบบเดียวกันนั่นแหละ เพราะไม่มั่นใจว่าจะจัดเรียงแบบสุ่มจริง ๆ ด้วยมือได้ จึงพึ่งพาความสุ่มที่อ่อนมากจากลำดับการส่ง
  • เหตุผลที่นามสกุลของลูก ๆ เราเป็นแบบนั้น แท้จริงก็เพราะเรื่องนี้
    นามสกุลของผมขึ้นต้นด้วย E และนามสกุลของภรรยาขึ้นต้นด้วย Y ตรงกันข้ามกับธรรมเนียม ตอนแต่งงานภรรยาไม่ได้เปลี่ยนนามสกุล และเมื่อมีลูก เราต้องตัดสินใจว่าจะให้นามสกุลอะไร เราเลือกใช้ นามสกุลแบบมีขีดกลาง
    ตามประวัติศาสตร์ นามสกุลแบบมีขีดกลางจะเรียงนามสกุลฝ่ายหญิง-นามสกุลฝ่ายชาย แต่ภรรยาของผมตอนโตมาไม่ชอบที่นามสกุลของตัวเองอยู่ท้าย ๆ ลำดับตัวอักษร
    ดังนั้นเราจึงแหกธรรมเนียมอีกครั้งโดยเอานามสกุลของผมไว้ข้างหน้า เพื่อให้ลูก ๆ อยู่ค่อนข้างต้นเมื่อจัดเรียงตามลำดับตัวอักษร นอกจากนี้ ชื่อของลูก ๆ ก็ขึ้นต้นด้วย A และ B จึงอยู่ค่อนข้างต้นเมื่อจัดเรียงตามชื่อด้วย

    • ผมอยู่ท้าย ๆ เสมอ เลยชอบที่ครูให้ความสนใจน้อยกว่า ถ้าข้อมูลแสดงแค่ความสัมพันธ์ ก็อาจอธิบายได้ว่าพวกเราที่อยู่ท้าย ๆ ถูกกดดันน้อยกว่า
    • คุณบอกว่า “แหกธรรมเนียมโดยไม่เปลี่ยนนามสกุลตอนแต่งงาน” แต่ถ้าไม่ได้แต่งงานก่อนยุค 90 ผมว่า หลังกลางยุค 90 เป็นต้นมา คงเรียกว่าแหกธรรมเนียมได้ไม่เต็มปากนัก
      ถ้าอยากแหกธรรมเนียมจริง ๆ ก็ไม่ต้องแต่งงาน แค่อยู่ด้วยกันแล้วมีลูกก็พอ
      ท้ายที่สุดแล้ว มีอะไรที่เป็นธรรมเนียมยิ่งกว่าการแต่งงานอีกหรือ?
    • ในประเทศแถบละตินอเมริกาและสเปน นามสกุลฝ่ายพ่อ จะมาก่อน แล้วตามด้วยนามสกุลฝ่ายแม่
  • นามสกุลของผมขึ้นต้นด้วยตัวอักษรท้าย ๆ ของลำดับอักษร เลยสังเกตเห็นเรื่องแบบนี้อยู่เสมอ เรื่องที่เกิดขึ้นปีนี้คือ ลูกชายของผมเรียนวิชาระดับมัธยมปลายที่ต้องได้รับฟีดแบ็กต่อเนื่องจากครูสำหรับโปรเจกต์ระยะยาว
    ครูตรวจโปรเจกต์ตามลำดับตัวอักษรของนามสกุล แต่ประมาณ 40% ของครั้ง เขาไปไม่ถึงช่วงท้าย ๆ ของห้อง และถ้ามีปัญหาก็บอกให้มาหาหลังเลิกเรียน แต่ด้วยลักษณะของโปรเจกต์แล้ว คอมเมนต์เชิงรุกจากครูเป็นสิ่งจำเป็นจริง ๆ
    ดังนั้นผมจึงบอกลูกชายว่า แม้จะไม่มีปัญหาก็ให้ไปหาครูเพื่อขอให้ตรวจล่วงหน้า แต่เด็กทุกคนไม่ได้ทำแบบนั้น และผลคือมีโอกาสได้คะแนนต่ำลง

  • สงสัยว่า Helen Wang เลือกเรื่องนี้เป็นหัวข้อวิจัยได้อย่างไร

  • นึกถึง ผลลัพธ์ที่ไม่ได้ตั้งใจ อันร้ายแรงของการเรียงลำดับ
    คล้ายกับปรากฏการณ์ผู้พิพากษาหิว [1] เป็นผลที่ว่าผู้พิพากษามีแนวโน้มจะเข้มงวดกว่าก่อนพัก และผ่อนปรนกว่าหลังพัก
    [1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect

    • https://nautil.us/impossibly-hungry-judges-236688/

      เราควรปฏิเสธข้อค้นพบนี้ เพราะมันเป็นไปไม่ได้เลย หากตีความว่าขนาดของผลลัพธ์นั้นใหญ่จนเป็นไปไม่ได้เพียงใด คนที่มีความเข้าใจด้านจิตวิทยาแม้เพียงเล็กน้อยก็ควรสรุปได้ว่า รูปแบบข้อมูลนี้เป็นไปไม่ได้ที่จะเกิดจากกลไกทางจิตวิทยา ในฐานะนักจิตวิทยา เราไม่ควรสอนหรืออ้างอิงข้อค้นพบนี้ และไม่ควรใช้มันในการกำหนดนโยบายในฐานะตัวอย่างของอคติทางจิตวิทยาในการตัดสินใจ