สถิติแบบเบย์: สามวัฒนธรรม

เบย์แบบอัตวิสัย (Subjective Bayes)

• สำนักเบย์แบบอัตวิสัยดั้งเดิมตั้งสมมติฐานเกี่ยวกับการแจกแจงที่สร้างข้อมูล (กล่าวคือ likelihood ในฐานะฟังก์ชันของพารามิเตอร์)
• ภายใต้สมมติฐานนี้ จะเข้ารหัสความเชื่อล่วงหน้าเป็น prior distribution ของพารามิเตอร์
• จากนั้นทำการอนุมานภายหลังและไม่หันกลับมาทบทวนอีก
• ทุกวันนี้ยังไม่ชัดเจนว่ามีใครยึดตามปรัชญานี้อย่างเคร่งครัด หรือมองว่าตนเองเป็นสำนักเบย์แบบอัตวิสัยหรือไม่

เบย์แบบภววิสัย (Objective Bayes)

• ปรัชญา "เบย์แบบภววิสัย" เกิดจากการผสมกันของความต้องการทำการทดสอบสมมติฐาน (โดยใช้ Bayes factor) และความรู้สึกอย่างแรงต่อสิ่งที่ Andrew เรียกว่า "Bayes cringe"
• อ้างจากบทความของผู้สนับสนุนคนสำคัญคนหนึ่ง:

การวิเคราะห์แบบอ้างอิงก่อให้เกิดการอนุมานแบบเบย์เชิงภววิสัย ในความหมายที่ว่าข้อความเชิงอนุมานขึ้นอยู่เพียงแบบจำลองที่สมมติไว้และข้อมูลที่มีอยู่เท่านั้น และในความหมายที่ว่า prior distribution ที่ใช้ในการอนุมานมีข้อมูลน้อยที่สุดในเชิงทฤษฎีสารสนเทศ

• จากการจัดประชุมและการตีพิมพ์หนังสือที่มีคำว่า "Objective Bayes" อยู่ในชื่อ แสดงว่ายังมีผู้คนจำนวนมากทำงานที่มีลักษณะนี้อยู่
• เป็นฉากหลังอยู่พอสมควรของ prior แบบ gamma(epsilon, epsilon) และ normal(0, 10_000) ที่ใช้กันอย่างแพร่หลายในตัวอย่าง BUGS

เบย์เชิงปฏิบัติ (Pragmatic Bayes)

• Andrew ยึดตามปรัชญาที่เขาเรียกว่า "เบย์เชิงปฏิบัติ"
• มีการนำเสนอไว้อย่างชัดเจนในหนังสือ "Bayesian Data Analysis" ฉบับพิมพ์ครั้งแรกของ Gelman, Carlin, Stern และ Rubin

1. สร้างแบบจำลองความน่าจะเป็นแบบสมบูรณ์ ซึ่งเป็นการแจกแจงความน่าจะเป็นร่วมของปริมาณทั้งหมดทั้งที่สังเกตได้และสังเกตไม่ได้ แบบจำลองต้องสอดคล้องกับความรู้เกี่ยวกับปัญหาทางวิทยาศาสตร์พื้นฐานและกระบวนการเก็บข้อมูล
2. คำนวณและตีความ posterior distribution ที่เหมาะสม ซึ่งเป็นการแจกแจงความน่าจะเป็นแบบมีเงื่อนไขของปริมาณที่สังเกตไม่ได้ซึ่งเป็นที่สนใจ โดยมีเงื่อนไขจากข้อมูลที่สังเกตได้
3. ประเมินความพอดีของแบบจำลองและนัยของ posterior distribution ที่ได้: แบบจำลองสอดคล้องกับข้อมูลดีเพียงใด ข้อสรุปเชิงสาระสมเหตุสมผลหรือไม่ และผลลัพธ์ไวต่อสมมติฐานของแบบจำลองในขั้นที่ 1 มากเพียงใด จากนั้นอาจปรับแก้หรือขยายแบบจำลองและทำสามขั้นตอนนี้ซ้ำ

• นี่เองคือกระบวนการที่ Andrew เรียกในท้ายที่สุดว่า "workflow"

ขั้นตอนปฏิบัติงานมาตรฐานในวิศวกรรม

• นี่คือขั้นตอนปฏิบัติงานมาตรฐานที่ในทางวิศวกรรมเรียกว่า "การออกแบบแบบวนซ้ำ"
• งานแมชชีนเลิร์นนิงแทบทั้งหมดทำในลักษณะนี้
• ในฐานะคนที่มาจากพื้นฐาน CS และ ML ฉันรู้สึกตกใจที่นักสถิติไม่ได้คิดในลักษณะนี้

หมายเหตุเพิ่มเติมว่าด้วยกลยุทธ์ตอนเขียน BDA

• Andrew กล่าวว่าในช่วงต้นของการเขียน BDA ฉบับพิมพ์ครั้งแรก เขาตัดสินใจอย่างชัดเจนว่าจะข้ามเรื่องปรัชญาและแค่ "ลงมือทำ" วิทยาศาสตร์
• เขาและ Rubin ไม่ได้ตั้งชื่อให้กระบวนการออกแบบแบบวนซ้ำของพวกเขา
• นี่เป็นทางเลือกที่ชาญฉลาด เพราะการอธิบายความเชื่อเชิงปรัชญาของคนอื่นให้ถูกต้องนั้นยาก และยิ่งยากกว่าที่จะเปลี่ยนมันผ่านการถกเถียง
• หากวิธีการทางวิทยาศาสตร์ต้องการข้อยกเว้นทางปรัชญาวิทยาศาสตร์ ก็คงเป็นวิทยาศาสตร์ที่ไม่น่าโน้มน้าวนัก

หมายเหตุเพิ่มเติมว่าด้วย likelihood vs prior distribution

• เห็นด้วยกับมุมมองของ Andrew ที่ว่าการเลือก prior distribution ไม่ได้ "อัตวิสัย" มากกว่าหรือน้อยกว่าการเลือก likelihood
• Andrew สรุปประเด็นนี้ไว้อย่างกระชับในบทความ "Straining on the gnat of the prior distribution while swallowing the camel that is the likelihood"

หมายเหตุเพิ่มเติมว่าด้วยความเชื่อ vs ความรู้

• ในมุมมองเชิงปรัชญา ผู้เขียนชอบอธิบาย prior distribution และ likelihood ในเชิงญาณวิทยาด้วยกรอบของ "ความรู้" มากกว่า "ความเชื่อ"
• นี่คือกรอบที่ Laplace เสนอไว้เป็นคนแรก และ John Stuart Mill ได้สำรวจอย่างลึกซึ้งยิ่งขึ้น ซึ่ง Gelman และคณะก็ดำเนินตามใน BDA

หมายเหตุเพิ่มเติมว่าด้วยที่มาของโพสต์นี้

• ในปี 1959 C.P. Snow เขียนบทความชื่อดัง "The Two Cultures" ว่าด้วยศิลปะ vs วิทยาศาสตร์
• ในปี 2001 L. Breiman เขียนบทความทรงอิทธิพล "Statistical Modeling: The Two Cultures" ว่าด้วยการแบ่งแยกระหว่างการสร้างแบบจำลองกระบวนการกำเนิดข้อมูลอย่างชัดเจนกับการใช้แบบจำลองที่ยืดหยุ่นมาก
• Breiman สนับสนุน decision forest ในงานของเขา และแนวทางของเขายังคงชนะในการแข่งขัน Kaggle ที่มีข้อมูลไม่มากพอสำหรับการฝึกโครงข่ายประสาทเทียมสมัยใหม่ระดับแนวหน้า
• สงสัยว่า Andrew มอง decision forest และโครงข่ายประสาทเทียมเป็นตัวอย่างของสิ่งที่เขาเรียกว่า "ดอกไม้ที่คลี่บาน" หรือไม่

ความเห็นของ GN+

• แนวทางดั้งเดิมสองแบบคือเบย์แบบอัตวิสัยและเบย์แบบภววิสัยนั้นสุดโต่งเกินไป แนวทางเบย์เชิงปฏิบัติมอบจุดประนีประนอมที่สมจริงและมีประโยชน์กว่า
• เห็นด้วยกับมุมมองที่ว่าการเลือก prior distribution มีความอัตวิสัยพอ ๆ กับการเลือก likelihood องค์ประกอบทั้งหมดของแบบจำลองล้วนมีความอัตวิสัยและสมมติฐานแฝงอยู่
• แนวทางแบบ "workflow" ที่ประเมินแบบจำลอง ตรวจสอบประสิทธิภาพการพยากรณ์ และทำซ้ำเมื่อจำเป็น ควรกลายเป็นมาตรฐานในวิทยาศาสตร์
• การใช้ prior distribution แบบมีข้อมูลจากข้อมูลในอดีตไม่ใช่เรื่องหายาก และควรถูกนำมาใช้ในการวิเคราะห์แบบเบย์มากกว่านี้
• ท้ายที่สุดแล้ว การมุ่งเน้นที่การลงมือทำวิทยาศาสตร์จริง ๆ มากกว่าปรัชญาของการอนุมานแบบเบย์เป็นกลยุทธ์ที่ชาญฉลาด แม้บางครั้งการถกเถียงเรื่องรากฐานของการอนุมานก็มีคุณค่าเช่นกัน