การคาดการณ์จำเป็นต้องมีช่วงความคลาดเคลื่อน

 (andrewpwheeler.com)
2 คะแนน โดย GN⁺ 2023-12-05 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • หากนำเสนอตัวชี้วัดที่มีความผันผวนสูง เช่น อัตราอาชญากรรมระดับประเทศ ด้วยเพียง การคาดการณ์แบบจุด ความต่างเล็กน้อยของแนวโน้มอาจถูกตีความเกินจริงได้ง่าย จึงต้องดูช่วงคาดการณ์ประกอบจึงจะตัดสินได้
  • ใช้โมเดล ARIMA(1,1,2) ของ Python statsmodels ฝึกกับอัตราอาชญากรรมรุนแรงปี 1960~2015 และคาดการณ์ปี 2016~2025 โดยโค้ดและข้อมูลเผยแพร่บน GitHub
  • ค่าคลาดเคลื่อนมาตรฐานของ การคาดการณ์ล่วงหน้า 1 ปี ในปี 2016~2020 ต่ำกว่า 20 แต่เมื่อคาดการณ์ต่อเนื่องหลายปี ความคลาดเคลื่อนจะสะสม ทำให้ช่วงคาดการณ์ 95% ของปี 2025 กว้างถึง 260.36~575.07
  • ค่าที่สังเกตจริงในปี 2021 และ 2022 ไม่สอดคล้องกับการคาดการณ์แนวโน้มขาขึ้นของ Richard Rosenfeld แต่ยังคงเข้ากันได้กับโมเดลเมื่ออยู่ภายใน ช่วงคาดการณ์ ของ ARIMA
  • การคาดการณ์อัตราอาชญากรรมระดับประเทศระยะยาวนำไปใช้โดยตรงกับการตอบสนองเชิงนโยบายท้องถิ่นได้ยาก และสำหรับการจัดสรรกำลังคน·ทรัพยากรจริง การคาดการณ์ที่เฉพาะเจาะจงกว่า เช่น จำนวนการเรียกใช้บริการที่เพิ่มขึ้นตามการเติบโตของเมือง จะมีประโยชน์มากกว่า

การดูแค่การคาดการณ์แบบจุดทำให้ตัดสินแนวโน้มอัตราอาชญากรรมได้ยาก

  • Richard Rosenfeld กล่าวถึงการคาดการณ์อัตราอาชญากรรมระดับประเทศใน Criminologist และในบทความที่ตีพิมพ์ปลายปี 2023 ได้นำเสนอการคาดการณ์ปี 2021~2025
  • แม้จะมีเสียงบ่นว่าสถิติอาชญากรรมของ FBI ออกช้ากว่า 1 ปี แต่การคาดการณ์นี้มีลักษณะเป็น การคาดการณ์ย้อนหลังที่ล่าช้า เพราะรวมถึงปีที่ผ่านไปแล้ว ณ เวลาตีพิมพ์
  • การคาดการณ์แบบจุดแทบจะคลาดเคลื่อนเสมอ ดังนั้นควรนำเสนอ ช่วงคาดการณ์ รอบค่าคาดการณ์ควบคู่กัน
  • เมื่อดูช่วงความคลาดเคลื่อน จะเห็นว่าการตีความที่อาศัยความต่างเล็กน้อยของแนวโน้มนั้นสั่นคลอนได้ง่ายเพียงใด

การทดลองคาดการณ์ที่จำลองซ้ำด้วย ARIMA

  • การวิเคราะห์ใช้ pandas, statsmodels.tsa.arima.model.ARIMA, matplotlib ของ Python
  • ข้อมูลสร้างขึ้นโดยรวม UCR_1960_2019.csv สำหรับปี 1960~2019 กับค่าที่เพิ่มเข้ามาสำหรับปี 2020~2022
    • อัตราอาชญากรรมรุนแรง VRate คำนวณด้วย Violent / Population * 100000
    • อัตราอาชญากรรมทรัพย์สิน PRate ก็คำนวณด้วยวิธีเดียวกัน
  • โค้ดและข้อมูลอยู่บน GitHub
  • เพื่อให้เปรียบเทียบกับบทความของ Rosenfeld ได้ จึงกำหนดปี 1960~2015 เป็นช่วงฝึก และฟิตโมเดล ARIMA(1,1,2)
    • Rosenfeld เขียนว่าเขาฟิต ARIMA(1,0,2) กับอัตราอาชญากรรมรุนแรง แต่ก็ระบุว่าทำ differencing กับข้อมูล จึงเทียบได้กับ ARIMA(1,1,2)
    • โมเดลของ Rosenfeld มีปัจจัยภายนอก เช่น เงินเฟ้อ แต่ที่นี่ไม่ได้รวมไว้
    • ไม่ได้ทำ grid search แยกต่างหากเพื่อหาโมเดลที่เหมาะสมที่สุด

การวินิจฉัยโมเดลและรูปแบบที่ความคลาดเคลื่อนเพิ่มขึ้น

  • ค่าสัมประสิทธิ์ AR(1) ของโมเดลที่ฟิตได้ออกมาเป็นลบ จึงมีความเป็นไปได้ว่าเกิด over-differencing
  • ตาม violent.test_serial_correlation('ljungbox') ไม่พบ autocorrelation ที่มีนัยสำคัญใน residual
  • อาจเลือกโมเดลที่ดีกว่าด้วยวิธี ARIMA อัตโนมัติได้ แต่ในกรณีนี้โมเดล ARIMA ส่วนใหญ่น่าจะให้การคาดการณ์และช่วงความคลาดเคลื่อนที่คล้ายกันมาก
  • ปี 2016~2020 สามารถเปรียบเทียบแบบ การคาดการณ์ล่วงหน้า 1 ปี โดยต่อข้อมูลใหม่เข้าไปทีละปีได้
    • ค่าคลาดเคลื่อนมาตรฐานของช่วงนี้คือ 19.813228 ซึ่งต่ำกว่า 20
    • อยู่ในช่วงความคลาดเคลื่อนสัมบูรณ์ 10% ที่ Rosenfeld ประเมินไว้เป็นเกณฑ์ความมีประโยชน์
  • เมื่อคาดการณ์ล่วงหน้าหลายปี ความคลาดเคลื่อนจะสะสม
    • หากจะคาดการณ์ปี 2022 ต้องมีการคาดการณ์ปี 2021 ก่อน
    • ปี 2023 ต้องคาดการณ์ปี 2021, 2022 และ 2023 ต่อเนื่องกันเป็นลูกโซ่
    • โดยทั่วไปค่าคลาดเคลื่อนมาตรฐานเพิ่มขึ้นคล้าย sqrt(steps*se^2) ซึ่งเป็นโครงสร้างที่ความแปรปรวนถูกบวกเพิ่มกัน

ช่วงคาดการณ์และค่าที่สังเกตจริงในปี 2016~2025

  • ค่าเฉลี่ยการคาดการณ์ของโมเดล ARIMA สำหรับปี 2016~2025 ส่วนใหญ่อยู่ระหว่าง 379~420 แต่ช่วงคาดการณ์จะกว้างขึ้นเมื่อเวลาผ่านไป
    • ปี 2021 ค่าเฉลี่ย 412.99, ช่วง 95% 374.16~451.82
    • ปี 2022 ค่าเฉลี่ย 420.17, ช่วง 95% 342.16~498.18
    • ปี 2023 ค่าเฉลี่ย 416.91, ช่วง 95% 303.53~530.28
    • ปี 2025 ค่าเฉลี่ย 417.72, ช่วง 95% 260.36~575.07
  • การคาดการณ์แบบจุดของ Rosenfeld ใกล้ค่าจริงมากกว่าค่าเฉลี่ย ARIMA ในบางปี
    • สำหรับค่าที่สังเกตจริงปี 2020 ที่ 398.5 Rosenfeld คาดการณ์ 394.9 ส่วนค่าเฉลี่ย ARIMA คือ 379.21
    • สำหรับค่าที่สังเกตจริงปี 2021 ที่ 387.0 Rosenfeld คาดการณ์ 404.1 ส่วนค่าเฉลี่ย ARIMA คือ 412.99
    • สำหรับค่าที่สังเกตจริงปี 2022 ที่ 380.7 Rosenfeld คาดการณ์ 409.3 ส่วนค่าเฉลี่ย ARIMA คือ 420.17
  • point estimate MAPE ของ ARIMA มีบางช่วงใน held-out sample ที่แย่กว่า Rosenfeld แต่ค่าที่สังเกตจริงอยู่ภายใน ช่วงคาดการณ์ ของ ARIMA
  • ค่าที่สังเกตจริงในปี 2021 และ 2022 แสดงให้เห็นว่าการคาดการณ์แนวโน้มขาขึ้นของ Rosenfeld คลาดเคลื่อนไปแล้ว
  • โดยธรรมชาติแล้ว การคาดการณ์ของ ARIMA มีลักษณะถดถอยกลับสู่ค่าเฉลี่ย และมักลู่เข้าหาพจน์ค่าเฉลี่ยภายในไม่กี่ขั้น

การคาดการณ์ปี 2023~2025 ที่ลดลงหลังสะท้อนข้อมูลล่าสุด

  • หลังเพิ่มข้อมูลปี 2021~2022 เข้าไปแล้ว จึงคาดการณ์ปี 2023~2025 ใหม่อีกครั้ง
  • การคาดการณ์ที่อัปเดตแล้วต่ำกว่าการคาดการณ์ระยะยาวเดิม
    • ปี 2023 ค่าเฉลี่ย 371.98, ช่วง 95% 333.14~410.81
    • ปี 2024 ค่าเฉลี่ย 380.09, ช่วง 95% 302.08~458.11
    • ปี 2025 ค่าเฉลี่ย 376.40, ช่วง 95% 263.03~489.78
  • เมื่อดูด้วยกราฟ จะเข้าใจขนาดของช่วงความคลาดเคลื่อนได้ง่ายขึ้น
  • หากรวมปัจจัยภายนอกเข้าไป ในการคาดการณ์ล่วงหน้าหลายปี ก็ต้องคาดการณ์ปัจจัยภายนอกนั้นเองด้วย และต้องสะท้อนความคลาดเคลื่อนของมันรวมเข้าไปด้วย

ข้อจำกัดเชิงนโยบายของการคาดการณ์อัตราอาชญากรรมระดับมหภาค

  • การคาดการณ์อัตราอาชญากรรมรุนแรงระดับประเทศนำไปใช้กับการตอบสนองเชิงนโยบายจริงได้ทันทีค่อนข้างยาก
  • เมืองอย่าง Pittsburgh ไม่มีเหตุผลที่จะนำการคาดการณ์อัตราอาชญากรรมระดับประเทศไปใช้โดยตรงในการตัดสินใจเชิงนโยบาย
  • แม้ความแม่นยำของการคาดการณ์จะดีขึ้นถึงระดับ 5% หรือ 1% ก็ยังเป็นเรื่องยากที่ผู้ปฏิบัติงานระดับรัฐบาลกลางจะตอบสนองในลักษณะ “อีก 2 ปีอัตราอาชญากรรมรุนแรงจะเพิ่มขึ้น 10 ดังนั้นมาสนับสนุนตำรวจเพิ่ม 1342 นายกันเถอะ”
  • การคาดการณ์อัตราอาชญากรรมระดับมหภาคมักถูกวิจารณ์ว่าไม่มี skin in the game ที่ต้องรับผลเมื่อคาดผิด
  • ในการประยุกต์ใช้การคาดการณ์อาชญากรรมจริง การประมาณว่าเมื่อมีบ้านหรืออพาร์ตเมนต์เพิ่มขึ้น 1 ครัวเรือนในเมือง จำนวนการเรียกใช้บริการต่อปีจะเพิ่มขึ้นประมาณ 1 ครั้งนั้นเป็นประโยชน์เชิงปฏิบัติมากกว่า
    • สำหรับเมืองที่กำลังเติบโต การวางแผนจัดสรรกำลังคนระยะยาวด้วยวิธีนี้เหมาะสมกว่า

เอกสารอ้างอิงที่กล่าวถึงร่วมกัน

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-12-05
ความคิดเห็นบน Hacker News

  • มีประเด็นน่าสนใจอยู่สองอย่างตรงนี้ อย่างหนึ่งคือสิ่งที่ผู้เขียนพูดถึง อีกอย่างไม่ใช่ อย่างแรก ตามที่อยู่ท้ายบทความ การคาดการณ์โดยปกติควรนำไปสู่การตัดสินใจ และถ้าทั้งสองอย่างถูกแยกออกจากกัน คุณค่าของมันอาจไม่ชัดเจนได้
    Rosenfield ดูเหมือนพยายามเพิ่มน้ำหนักพิเศษให้ข้อสรุปทางสถิติจากข้อมูลในอดีตด้วยการคาดการณ์ ซึ่งฟังดูน่าสงสัย อย่างที่สอง ยังไม่ชัดเจนว่า แถบความคลาดเคลื่อน ควรหมายถึงอะไรด้วย อย่างหนึ่งคือช่วงความเชื่อมั่น[1] และอีกอย่างคือส่วนเบี่ยงเบนมาตรฐาน กล่าวคือโดยสาระแล้วเป็นการคาดการณ์ผลต่างกำลังสองระหว่างการคาดการณ์แบบจุดของตัวเองกับผลลัพธ์จริง
    [1] ยอมรับว่าคำศัพท์นี้ไม่แม่นยำนัก

    • เมื่อไม่นานนี้มีคนใน Hacker News อธิบายสถิติว่าเป็น “การพยายามวัดว่าเราควรประหลาดใจแค่ไหนเมื่อผิด” แถบความคลาดเคลื่อนที่หนา ให้ความรู้สึกว่าเราควรคาดไว้ได้ว่าจะผิด ส่วนแถบความคลาดเคลื่อนที่บางแสดงให้เห็นว่าข้อเท็จจริงที่ว่าผิดอาจชวนอึดอัดพอสมควร
      นี่ไม่ใช่คำอธิบายที่ครอบคลุมสถิติทั้งหมด แต่เป็นมุมมองที่มีประโยชน์เมื่อคิดเรื่องการคาดการณ์
    • จุดยืนที่ Bill Phillips [1] สนับสนุน และตอนนี้ผมก็ทำตาม คือแบบนี้: “คุณควรยินดีรับได้ทั้งสองฝั่งของ การเดิมพันที่ช่วงความเชื่อมั่นสื่อเป็นนัย”
      ตัวอย่างเช่น ถ้าเป็นช่วงความเชื่อมั่น 95% คุณควรรับได้เท่า ๆ กันทั้งอัตราจ่าย 19:1 ว่าค่าจริงอยู่นอกช่วง และอัตราจ่าย 1:19 ว่าค่าจริงอยู่ในช่วง วิธีนี้ถูกต้องโดยทั่วไป และทำให้ความหมายในการถกเรื่องความไม่แน่นอนจับต้องได้มากขึ้นมาก จนกลายเป็นเกณฑ์ที่นำไปใช้ได้ทันที ถ้าทำถูกต้อง มันจะทำให้คุณกำหนดความไม่แน่นอนที่ไม่ระมัดระวังเกินไป และไม่มองโลกในแง่ดีเกินไป
      ถ้าคุณเริ่มรู้สึกไม่สบายใจนิด ๆ กับความคิดที่ปล่อยให้ผู้อ่านเลือกเดิมพันฝั่งไหนก็ได้ นั่นแปลว่ามาถูกทางแล้ว ความรู้สึกนั้นจะลดลงเมื่อคุณค่อนข้างมั่นใจว่าได้กำหนดแถบความคลาดเคลื่อนอย่างถูกต้อง และการอนุมานถูกบันทึกไว้เป็นเอกสารจนปกป้องได้
      คำตอบเพิ่มเติมต่อคำถามเดิม: แถบความคลาดเคลื่อน 1 ส่วนเบี่ยงเบนมาตรฐาน คือช่วงความเชื่อมั่น 68% และ 2 ส่วนเบี่ยงเบนมาตรฐานคือช่วงความเชื่อมั่น 95% แน่นอนว่าเป็นกรณีที่สมมติว่าเป็นนักสถิติแบบความถี่นิยม
      [1] https://www.nobelprize.org/prizes/physics/1997/phillips/fact...
    • ในการคาดการณ์ แถบความคลาดเคลื่อนสามารถหมายถึงได้เพียง ความไม่แน่นอน ที่โมเดลมีเท่านั้น ถ้าไม่มีแถบความคลาดเคลื่อนสำหรับโมเดลต่าง ๆ ก็พูดอะไรไม่ได้เลยว่าโมเดลนั้นดีแค่ไหน และแม้มีก็ยังเป็นไปได้ว่าโมเดลระดับบนไม่เหมาะสม
    • นั่นไม่ใช่ช่วงความเชื่อมั่น ช่วงความเชื่อมั่น คือ ตัวแปรสุ่มที่มีค่าจริงอยู่ภายในใน 95% ของกรณี ภายใต้สมมติฐานว่าโมเดลถูกระบุอย่างถูกต้อง
    • แถบความคลาดเคลื่อนไม่ว่าจะเป็นช่วงความเชื่อมั่นหรือส่วนเบี่ยงเบนมาตรฐาน ก็มีประโยชน์จำกัด เพราะมันไม่ได้บอกว่าความน่าจะเป็นกระจายตัวอย่างไรภายในช่วงนั้น จอกศักดิ์สิทธิ์ของการคาดการณ์คือการคาดการณ์เชิงความน่าจะเป็นที่ทำนาย การแจกแจงภายหลัง ทั้งหมด ซึ่งสามารถสุ่มตัวอย่างจากตรงนั้นเพื่อสร้างสถานการณ์หรือค่าที่เกิดขึ้นจริงของกระบวนการสุ่ม underlying ได้

  • ได้โปรดควรทำแบบนั้น ผมเคยอยู่ในองค์กรที่รันการทดลองออนไลน์หลายพันครั้งตลอดหลายปี และเมื่อเปรียบเทียบผลของการปรับใช้แบบใหม่ การมี แถบความคลาดเคลื่อน ทำให้เข้าใจได้ดีขึ้นมาก
    บางคนมองว่ามันทำให้การตัดสินใจพร่าเลือน เช่น ถ้าการปรับใช้แบบใหม่ทำให้ “ดีขึ้น” 1% แต่ช่วงความเชื่อมั่นอยู่ที่ -10% ถึง 10% การทดลองนั้นก็ไม่ได้บอกอะไรเราเลยว่าตัวชี้วัดนั้นได้รับผลกระทบอย่างไร แบบนี้ทำให้การตัดสินใจรู้สึกเหมือนเป็นไปตามอำเภอใจ แต่นั่นแหละคือประเด็น ในกรณีนั้นการตัดสินใจเป็นไปตามอำเภอใจจริง ๆ และช่วงความเชื่อมั่นก็บอกให้เรารู้ข้อเท็จจริงนั้น เพื่อให้มองเห็นการแลกเปลี่ยนอย่างอื่นได้ ถ้าช่วงความเชื่อมั่นอยู่ที่ 0.9% ถึง 1.1% เราก็จะมั่นใจในผลได้มากกว่ามาก
    ปัญหาใหญ่คือในบางกรณี การหาแถบความคลาดเคลื่อนที่มีความหมายทำได้ยากอย่างยิ่ง เช่น คงจะดีถ้าจินตนาการถึงสถานการณ์ที่แนบค่าพวกนี้ให้กับการคาดการณ์ทุกครั้งของโมเดลแมชชีนเลิร์นนิงได้ แต่ผมไม่ค่อยรู้วิธีที่จะทำได้อย่างสมเหตุสมผลสำหรับโมเดลส่วนใหญ่ การทดลองออนไลน์ที่ต้องออกแบบการทดลองซับซ้อนเพราะไม่สามารถสุ่มจัดกลุ่มให้ได้กลุ่มที่เป็นอิสระเพียงพอก็เช่นกัน
    ในทำนองเดียวกัน เราควรดู ฮิสโตแกรม หรือก็คือการแจกแจงทางสถิติของตัวชี้วัดสำคัญทั้งหมดเป็นประจำ ครั้งหนึ่งมีปัญหาเรื่องความเร็วในการเรียกเว็บเซอร์วิสขนาดใหญ่ โดยหลายคำขอจบภายในน้อยกว่า 50ms แต่มีคำขอมากเกินไปที่ชน timeout 500ms ขณะเดียวกัน เราเห็นยอดเขาชัดเจนสองยอดในฮิสโตแกรมความเร็ว และเมื่อเจาะลึกลงไป ก็พบว่ายอดสองยอดนั้นแทนผู้ใช้ที่ยังไม่ได้ล็อกอินกับผู้ใช้ที่ล็อกอินแล้ว นั่นทำให้เรามองข้ามโค้ดขอบเขตกว้าง ๆ ไปได้ และไปพบปัญหาความเร็วในโค้ด personalization ที่เพิ่ง deploy ซึ่งถ้าไม่ใช่แบบนี้ก็คงไม่สงสัย

    • ยิ่งมีประสบการณ์มากขึ้น ผมยิ่งเห็นบ่อยขึ้นว่ามีจุดที่ว่า “การตัดสินใจรู้สึกเป็นไปตามอำเภอใจมากขึ้น” ผู้คนเกลียด การตัดสินใจแบบตามอำเภอใจ จริง ๆ
      พวกเขาพยายามอย่างน่าทึ่งที่จะเติมความชอบธรรมให้การตัดสินใจแบบตามอำเภอใจ บางครั้งมันมาในรูปของโมเดลสถิติที่ทำให้ noise ดูเหมือน signal และบ่อยครั้งมาจากผู้เชี่ยวชาญปลอม ๆ พวกเขาไม่มีวิธีวิทยาและวงจรป้อนกลับที่จะรู้ได้ว่ากำลังทำอะไรอยู่ แต่มีบรรยากาศของความเชี่ยวชาญที่ถูกปลูกฝังทางสังคม จึงช่วยให้การตัดสินใจดูชอบธรรมได้ สมัยก่อนเรียกว่าหมอผี นักบวช และนักโหราศาสตร์ ส่วนตอนนี้เรียกว่าที่ปรึกษาด้านการจัดการและนักเศรษฐศาสตร์มหภาค
      ผมชอบทำให้ชัดเจนไปเลยว่าเกิดอะไรขึ้น และโยนเหรียญจริง ๆ มากกว่า เพียงแต่นั่นไม่ใช่กลยุทธ์ที่จะทำให้ได้กองหินแวววาวกองใหญ่
    • การที่ผู้ใช้ที่ไม่ได้ล็อกอินกับผู้ใช้ที่ล็อกอินแล้วเป็นยอดสองยอดนั้นเป็นเรื่องที่พบบ่อยมาก และเป็นหนึ่งในไอเดียหลักของ การควบคุมกระบวนการเชิงสถิติ
      บางครั้งมีกระบวนการเดียวที่สร้างค่าต่าง ๆ ที่มีการแจกแจงคล้ายกันโดยรวม นี่เป็นสถานการณ์ที่ดี เพราะสามารถใช้เครื่องมือสถิติหลายอย่างกับการวางแผน การอนุมาน ฯลฯ ได้
      แต่ในความเป็นจริง มักมีสองกระบวนการหรือมากกว่านั้นผสมกันอยู่ แต่ทำเหมือนว่าเป็นกระบวนการเดียว ภายในแต่ละกระบวนการ ค่าที่สร้างขึ้นมีการแจกแจงคล้ายกันโดยรวม แต่การวิเคราะห์ผลรวมทั้งหมดจะสับสน ถ้ารู้ส่วนประกอบหลักของกระบวนการเดียวปลอม ๆ ที่กำลังดูอยู่ คุณจะนำหน้าคู่แข่งเสมอ
      [1]: https://two-wrongs.com/statistical-process-control-a-practit...

  • เห็นด้วยกับไอเดียนี้อย่างเต็มที่ และถ้าจะเสริมก็คือ การประมาณวันที่ หรือก็คือเดดไลน์ ควรมีแถบค่าคลาดเคลื่อนด้วย เพราะสุดท้ายวันที่ก็เป็นการคาดการณ์เช่นกัน
    ถ้าผู้มีส่วนได้ส่วนเสียต้องการวันที่ ก็ควรระบุด้วยว่าต้องการแถบค่าคลาดเคลื่อนแบบไหน วันที่ดิบ ๆ ที่ไม่มีการประเมินความไม่แน่นอนนั้นไม่มีความหมาย ในทำนองเดียวกัน ถ้าวิศวกรเสนอวันที่ให้ผู้มีส่วนได้ส่วนเสียคนอื่น ก็ควรแนบการประเมินความไม่แน่นอนไม่รูปแบบใดก็รูปแบบหนึ่งไปด้วย ความแตกต่างระหว่างการบอกว่ามีโอกาส 90% ที่จะเสร็จก่อน X วัน กับการบอกว่ามีโอกาส 99.9% นั้นมหาศาลมาก

    • ปัญหาคือการประมาณวันที่สำหรับเดดไลน์ไม่ได้เป็น การแจกแจงปกติ ทำให้เครื่องมือสถิติทั่วไปที่ทุกคนใช้กันใช้ไม่ได้
      มันแทบจะเป็นการแจกแจงแบบกฎกำลังที่เอนเอียงไปข้างเดียว งานแทบไม่ค่อยเสร็จก่อนกำหนด และต่อให้เสร็จก่อนก็มักไม่ได้ก่อนมากนัก ในทางกลับกัน ถ้าล่าช้า อาจล่าช้าได้อย่างเหลือเชื่อ
      การสร้างช่วงความเชื่อมั่นให้สิ่งแบบนั้นยากจริง ๆ
    • พูดถูกจริง ๆ ผมเคยเขียนถึงวิธีนี้มาก่อน ข้อดีใหญ่ข้อหนึ่งคือมันทำให้เรา เรียนรู้จากความผิดพลาดได้
      การประมาณวันที่ที่ไม่มีแถบค่าคลาดเคลื่อนไม่สามารถพิสูจน์ได้ว่าผิด แต่ถ้าพูดว่า “มีโอกาส 50% ที่จะเสร็จก่อนวันที่นี้” เมื่อย้อนดูการประมาณแบบนั้น 20 ครั้งล่าสุด ก็ควรมีประมาณ 10 ครั้งที่เสร็จทันเวลา ไม่เช่นนั้นการประมาณก็ยังไม่ได้รับการปรับเทียบ ถึงอย่างน้อยเราก็รู้เรื่องนั้นได้ ถ้าไม่มีแถบค่าคลาดเคลื่อน เราคงไม่รู้
    • เดดไลน์มีความหมายแฝงว่าขอบบนของแถบค่าคลาดเคลื่อนไม่สามารถเกินวันที่นั้นได้ ดังนั้นถ้าจะให้ทันเดดไลน์ ก็ต้องใส่ บัฟเฟอร์ ให้เหมาะสม

  • การวัดปริมาณความไม่แน่นอน เป็นแง่มุมที่ถูกละเลยในวิทยาศาสตร์ข้อมูล โดยเฉพาะในแมชชีนเลิร์นนิง ผู้ปฏิบัติงานไม่ได้มีพื้นฐานสถิติเสมอไป และฝั่งแมชชีนเลิร์นนิงโดยทั่วไปมีท่าทีแบบ “ทำนายก่อน ค่อยถามทีหลัง” รายละเอียดแบบนี้จึงถูกผลักไปอยู่ข้างหลัง
    ผมขอแถบค่าคลาดเคลื่อนเสมอ

    • คุณขอแถบค่าคลาดเคลื่อนได้ก็จริง แต่มันไม่ได้เป็นไปได้หรือมีความหมายเสมอไป เราสามารถ “ยัด” การประเมินค่าคลาดเคลื่อนแบบแจกแจงปกติ อิสระและมีการแจกแจงเหมือนกัน คร่าว ๆ เข้าไปในวิธีใดก็ได้ แต่นั่นไม่ได้แปลว่ามันมีความหมายเสมอไป
      ในโมเดลไม่เชิงเส้นทั่วไป การสร้างแถบค่าคลาดเคลื่อน หรือพูดให้กว้างกว่านั้นคือการแจกแจงของค่าคลาดเคลื่อน ที่อธิบายแนวคิดความไม่แน่นอนอย่างสมเหตุสมผลได้จริง อาจเป็นภาระค่อนข้างมากทั้งในเชิงทฤษฎีและการคำนวณ แม้ในกรณีอุดมคติก็ตาม มีวิธีเชิงปฏิบัติที่ดีและมีฐานทฤษฎีรองรับอย่าง Monte Carlo Dropout แต่แถบค่าคลาดเคลื่อนที่ได้จากวิธีนั้นก็ไม่ได้เป็นค่าคลาดเคลื่อนที่เราต้องการเสมอไป MC DO ประเมินความไม่แน่นอนจากน้ำหนักของโมเดล แต่ไม่ได้ประเมินความไม่แน่นอนจากข้อมูลฝึกที่ไม่ดี เป็นต้น
      ผมสนับสนุนอย่างยิ่งต่อวิธีที่รวมความไม่แน่นอนไว้โดยธรรมชาติ แต่ยังมีโมเดลหลายประเภทที่ให้ผลลัพธ์ที่มีประโยชน์มากในเชิงประจักษ์ ขณะเดียวกันก็ยังไม่ชัดเจนว่าจะสร้างหรือตีความการประเมินความไม่แน่นอนที่มีประโยชน์ได้อย่างมีประสิทธิภาพอย่างไร
      อีกประเด็นหนึ่งที่แยกต่างหากและมักถูกละเลยคือแนวคิดเรื่อง เอาต์พุตของโมเดลที่ปรับเทียบแล้ว ซึ่งก็เป็นโพรงกระต่ายอีกโพรงหนึ่ง
    • ถ้าอย่างนั้นนี่เป็นวิทยาศาสตร์จริงหรือ? นี่เป็นแนวคิดระดับสถิติเบื้องต้น เหตุผล ความจำเป็น และความเสี่ยงเมื่อไม่มีสิ่งเหล่านี้ล้วนชัดเจนมาก
      แต่ก็มีการเทเงินหลายล้านลงในโมเดลโดยไม่มีเงื่อนไขพื้นฐานเหล่านี้ นำไปขายให้ผู้คนในฐานะคำตอบ แล้วก็ปัดผ่านด้วยเหตุผลทำนองว่า “ถ้าคนซื้อ ก็เพราะมันมีคุณค่า” ผู้คนก็จ่ายเงินให้มิจฉาชีพเหมือนกัน
    • แถบค่าคลาดเคลื่อนสำคัญ แต่คนส่วนใหญ่ตีความความหมายของมันผิด ดู https://errorbars.streamlit.app/
    • ในฐานะสถิติ แถบค่าคลาดเคลื่อนยังสามารถเผยปัญหาของข้อมูล underlying และโมเดลได้ด้วย เช่น ถ้าแคบหรือสมมาตรอย่างไม่สมจริง ก็ควรสงสัยไว้ก่อน

  • นึกถึงคำพูดทำนองเดียวกันของ Walter Lewin เรื่องการวัด ในเลกเชอร์ 8.01: “การวัดที่ไม่รู้ความไม่แน่นอน นั้นไร้ความหมาย”
    https://youtu.be/6htJHmPq0Os
    อาจพูดได้ว่าการคาดการณ์คือการวัดเกี่ยวกับอนาคต

    • ในบริบทคล้ายกัน Lawrence M. Krauss ก็มีคำพูดว่า: “ความสามารถในการวัดปริมาณความไม่แน่นอนและรวมมันไว้ในโมเดล คือสิ่งที่ทำให้วิทยาศาสตร์เป็น เชิงปริมาณ ไม่ใช่เชิงคุณภาพ”
      ที่มา: https://www.edge.org/response-detail/10459

  • นึกว่านี่จะเป็นเรื่องสภาพอากาศ

    • ผมก็คิดแบบนั้น และคาดหวังว่าจะเป็นเธรดที่พูดถึง แถบค่าคลาดเคลื่อนของโมเดลพยากรณ์อากาศ ซึ่งของแบบนั้นมีอยู่จริง
      ECMWF รันโมเดลแบบ ensemble โดยน่าจะปรับเงื่อนไขเริ่มต้นทีละน้อย หรือเปลี่ยนพารามิเตอร์ของโมเดลภายในช่วงหนึ่ง แล้วรันโมเดลพร้อมกัน 51 ตัว จากโมเดลทั้ง 51 ตัวนี้สามารถได้ช่วงความเชื่อมั่นที่ค่อนข้างดี
      แต่โมเดลนี้มีความละเอียดต่ำกว่าและรันไม่บ่อยนัก ส่วนโมเดล “HRES” มีความละเอียดเชิงพื้นที่เป็นสองเท่า จึงเดาว่าไม่ได้รันแบบ ensemble เหตุผลก็ชัดเจนว่าเพราะมีต้นทุนสูงมาก
      [1]: https://en.wikipedia.org/wiki/Integrated_Forecast_System#Var...
    • ใช้ meteoblue มาสักพักแล้ว มันบอกด้วยว่ามั่นใจกับการพยากรณ์แค่ไหน ตอนนี้เห็นได้ว่าความสามารถในการพยากรณ์ของวันพรุ่งนี้ถูกประเมินว่าอยู่ระดับปานกลาง ส่วนวันมะรืนอยู่ระดับสูง
      https://content.meteoblue.com/en/research-education/specific...
    • ผมก็คิดแบบนั้นเหมือนกัน แต่ก็สงสัยว่าในบริบทของมนุษย์ ปรากฏการณ์บรรยากาศธรรมดา ๆ ทุกวันนี้คลาดเคลื่อนไปมากถึงขั้นที่แถบค่าคลาดเคลื่อนมีคุณค่าเชิงปฏิบัติ หรือกลับกันสร้างความสับสนได้จริงหรือไม่

  • ตัวอย่างที่น่าสนใจในบทความนี้คือ nowcasting ซึ่งเป็นเทคนิคในการคาดการณ์ปัจจุบันหรืออดีตระหว่างรอให้ข้อมูลเข้ามา
    ถ้าไม่มีขอบเขตค่าคลาดเคลื่อน ก็เป็นวิทยาศาสตร์และสถิติที่หละหลวม

    • ไม่ใช่เรื่องง่ายเสมอไปที่จะบอกว่าประโยชน์คืออะไร แม้จะนำเสนอ ความไม่แน่นอนภายในโมเดล ของโมเดลเชิงความน่าจะเป็น ก็อาจไม่ได้บอกอะไรเลยเกี่ยวกับค่าคลาดเคลื่อนของการประมาณเมื่อเทียบกับกระบวนการจริง
      เพื่อให้การคาดการณ์แสดงความไม่แน่นอนจริงได้ คุณต้องอยู่ในสถานะที่ค่อนข้างหรูหรา คือรู้กระบวนการสร้างข้อมูล ถ้าเป็นไปได้ ก็อาจลองปรับเทียบคร่าว ๆ ด้วยข้อมูลอดีตจำนวนมากได้ แต่ก็ยังมีข้อจำกัดอยู่ดี
    • การที่ของแบบนั้นมีอยู่ก็สมเหตุสมผลดี แต่อย่างนั้นมุกของผมก็ขำน้อยลง: “ผมแทบจะเป็นผู้หยั่งรู้เลยนะ เพราะผมทำนายได้ทันทีหลังเหตุการณ์เกิดขึ้น”

  • การประมาณ การคาดการณ์ การแทรกค่า และการคาดคะเนออกนอกช่วงทั้งหมด ควรมี ช่วงความเชื่อมั่น ช่วงการพยากรณ์ หรือช่วงความยอมรับได้ ที่สะท้อนสมมติฐานที่ทีมใส่เข้าไปในปัญหา ขึ้นอยู่กับสาขาที่นำไปใช้

  • นึกถึงบทความวิชาการนี้[1]
    “ภาพลวงตาเรื่องความสามารถในการคาดการณ์ในผลลัพธ์ทางวิทยาศาสตร์: แม้แต่ผู้เชี่ยวชาญก็ยังสับสนระหว่าง ความไม่แน่นอนเชิงอนุมาน กับความแปรปรวนของผลลัพธ์”
    ตามธรรมเนียมแล้ว นักวิทยาศาสตร์มักให้ความสำคัญกับการสื่อสารความไม่แน่นอนเชิงอนุมาน ซึ่งเป็นความแม่นยำของการประมาณค่าทางสถิติ มากกว่าความแปรปรวนของผลลัพธ์ ซึ่งเป็นความสามารถในการคาดการณ์ผลลัพธ์รายกรณี บทความนี้แสดงให้เห็นว่าสิ่งนี้อาจก่อให้เกิดความเข้าใจผิดอย่างมากเกี่ยวกับนัยของผลลัพธ์ทางวิทยาศาสตร์ โดยเฉพาะในการทดลองแบบสุ่มที่ลงทะเบียนล่วงหน้า 3 ครั้ง ผู้เข้าร่วมได้ดูการค้นพบทางวิทยาศาสตร์เดียวกันผ่านภาพแสดงข้อมูลที่แสดงเฉพาะความไม่แน่นอนเชิงอนุมาน เฉพาะความแปรปรวนของผลลัพธ์ หรือทั้งสองอย่าง แล้วตอบคำถามเกี่ยวกับขนาดและความสำคัญของการค้นพบนั้น ผลลัพธ์ซึ่งประกอบด้วยคำตอบจากผู้เชี่ยวชาญทางการแพทย์ นักวิทยาศาสตร์ข้อมูลมืออาชีพ และอาจารย์สาย tenure-track แสดงให้เห็นว่าวิธีทั่วไปที่แสดงภาพเฉพาะความไม่แน่นอนเชิงอนุมาน อาจทำให้แม้แต่ผู้เชี่ยวชาญที่ผ่านการฝึกมาอย่างสูงประเมินผลของการรักษาสูงเกินจริงอย่างมาก ในทางกลับกัน เมื่อแสดงทั้งความไม่แน่นอนเชิงอนุมานและความแปรปรวนของผลลัพธ์ร่วมกัน โดยเฉลี่ยแล้วจะนำไปสู่การรับรู้ที่แม่นยำขึ้น ขณะที่ความประทับใจเชิงอัตวิสัยอื่น ๆ ต่อผลลัพธ์ยังคงเดิม
    [1] https://www.microsoft.com/en-us/research/publication/an-illu...

    • เป็นเอกสารอ้างอิงที่น่าสนใจมาก มีทั้งสาขาที่เรียกว่า การสร้างแบบจำลองความไม่แน่นอน

  • การคาดการณ์อาจมีประโยชน์ได้แม้ไม่มีแถบค่าความคลาดเคลื่อน บางครั้งแค่ การคาดการณ์แบบจุด ค่าเดียวก็เพียงพอสำหรับกำหนดการกระทำแล้ว
    แต่บางครั้งการรู้การแจกแจงการคาดการณ์ทั้งหมดก็เป็นประโยชน์หรือจำเป็นต่อการตัดสินใจที่ดี คำว่า “การคาดการณ์แบบจุดผิดเสมอ” นั้นถูกต้องสำหรับข้อมูลต่อเนื่อง แต่ถ้าสามารถคาดการณ์ได้ว่าหุ้นตัวหนึ่งจะขึ้นเป็น 2.01 เท่า ไม่ใช่ 2 เท่า นั่นก็ยังมีประโยชน์