ทำไมในชุมชนนักเหตุผลนิยมจึงมีลัทธิอยู่มากนัก?

• กลุ่มความเชื่อเล็กๆ ที่แปลกประหลาดภายในชุมชนนักเหตุผลนิยม เกิดขึ้นซ้ำแล้วซ้ำเล่า และบางส่วนก็เชื่อมโยงกับ เหตุรุนแรงที่เกิดขึ้นจริง
• ปรากฏการณ์นี้มีที่มาจากการที่ เนื้อหาที่เน้นวิธีคิดอย่างมีเหตุผล (Sequences) สัญญาว่าจะมอบทักษะในการ “คิดได้ดีกว่าเดิม” แต่ในความเป็นจริงกลับไม่อาจทำให้คำสัญญานั้นเป็นจริงได้
• ผู้คนที่อยู่ในสถานะเปราะบาง มีแนวโน้มสูงกว่าที่จะเข้าไปพัวพันกับกลุ่มอันตรายในชุมชน และมักถูกตัดขาดจากโลกภายนอกจนออกมาได้ยาก
• ความเชื่อและการกระทำที่เชื่อมโยงกันภายในกลุ่ม, ท่าทีที่จริงจังกับไอเดียมากเกินไป, ความโดดเดี่ยวทางสังคม ล้วนก่อให้เกิดความบกพร่องร้ายแรงได้
• การเกิดขึ้นของลัทธิในหมู่นักเหตุผลนิยมอาจป้องกันได้ยากโดยสิ้นเชิง แต่การรักษา ความเชื่อมโยงกับโลกภายนอก, ความหลากหลายทางสังคม, โครงสร้างองค์กรที่ดีต่อสุขภาพ จะช่วยลดผลกระทบเชิงลบได้

---

บทนำ

• ชุมชนนักเหตุผลนิยมเป็นกลุ่มที่มีจุดกำเนิดจากบล็อกซีรีส์ ‘Sequences’ ที่เขียนโดย Eliezer Yudkowsky นักวิจัย AI
• ซีรีส์นี้ว่าด้วยวิธีคิดอย่างมีเหตุผล ทำให้คาดหวังได้ว่าสมาชิกชุมชนจะเป็นแบบอย่างของการคิดเชิงวิพากษ์และความสงสัยอย่างมีหลักการ
• แต่ในความเป็นจริงกลับมีกลุ่มเล็กๆ ประหลาดที่ติดต่อกับปีศาจ เหตุรุนแรง และกลุ่มที่ก่อบาดแผลทางใจ เกิดเป็น กลุ่มประหลาดและเป็นอันตราย ภายในชุมชน
• ตัวอย่างเด่นได้แก่กลุ่ม Zizians ซึ่งเป็นกลุ่มวีแกน อนาธิปไตย ทรานส์ฮิวแมนนิสต์ รวมถึงกรณีของ Black Lotus และ Leverage Research
• ผู้เขียนเป็นทั้งคนในชุมชนและได้เข้าถึงข้อมูลอย่างที่ไม่เคยมีมาก่อนผ่านการสัมภาษณ์เชิงลึกที่ตรงไปตรงมา

ปัญหาของนักเหตุผลนิยมรุ่นเยาว์

• โดยรวมแล้วชุมชนนักเหตุผลนิยมยังทำงานได้ตามปกติ แต่บางกลุ่มกลับมีโครงสร้างที่ บกพร่องอย่างรุนแรง

• ‘Sequences’ สัญญาถึง “ศิลปะแห่งการคิดให้ดีขึ้น” และอนาคตอันไม่ธรรมดา แต่ในทางปฏิบัติ คำสัญญานั้นเป็นไปไม่ได้ที่จะทำให้เกิดขึ้นจริง

• ผู้ให้สัมภาษณ์หลายคนชี้ว่าเนื้อหาเหล่านี้สร้าง วัตถุดิบตั้งต้นของลัทธิ

• Eliezer Yudkowsky ไม่ได้กระตือรือร้นกับการสร้างความเป็นหมู่คณะมากนัก แต่ผู้คนจากภายนอกที่หลั่งไหลเข้ามามักโหยหาการเปลี่ยนแปลงโดยผู้มีอำนาจและภารกิจแบบวีรบุรุษ

• ความบกพร่องของบางกลุ่มอาจมาจากผู้นำ (เช่น Brent Dill แห่ง Black Lotus) หรืออาจเกิดจากพลวัตที่เป็นพิษซึ่งค่อยๆ ก่อตัวขึ้นจากฐานล่างเอง (เช่น Leverage Research)

• ผู้ที่เปราะบางมักตกเป็นเชลยของกลุ่มที่แยกตัวออกจากสังคมได้ง่าย และก็ยากที่จะหลุดพ้นเมื่อเกิดปัญหา

• ในช่วงแรก ชุมชนเคยช่วยเหลือสมาชิกที่ยังไม่พร้อม แต่ต่อมาคนที่ประสบความสำเร็จกลับมีแนวโน้มถอนการสนับสนุนของตนเอง

• สมาชิกใหม่ที่ไม่ได้รับการช่วยเหลือจึงตกเป็น เป้าหมายของกลุ่มอันตรายภายใน ได้ง่าย

ความจริงจังของความเชื่อ

• ภายในกลุ่มที่บกพร่อง ความเชื่อเอง คือสาเหตุหลัก มากกว่าทั้ง ความโดดเดี่ยวทางสังคม และ การชักใยโดยผู้นำ

• ตัวอย่างเช่น ทฤษฎีการตัดสินใจแบบสุดโต่งของ Zizians (ความเชื่อว่าต้องตอบโต้ต่อภัยคุกคามอย่างไม่มีเงื่อนไข) เชื่อมโยงโดยตรงกับการกระทำจริง

• Leverage Research พยายามใช้ ทฤษฎีบูรณาการทางจิตวิทยา ที่เรียกว่า ‘Connection Theory’ เพื่อทำความเข้าใจโครงสร้างภายในของสมาชิกและแก้ปัญหา

• การพยายามปรับพฤติกรรมของตนให้เข้ากับแบบจำลองทางจิตวิทยาที่เรียบง่ายเช่นนี้ กลับทำให้เกิด ปัญหาทางจิตใจ ได้

• Brent Dill ชักนำให้สมาชิกตีความโลกและผู้อื่นอย่างเหยียดเย้ยและมองในแง่ร้าย ซึ่งกลายเป็นความไม่ไว้วางใจกันในกลุ่มและเป็นอันตรายที่ลึกที่สุด

• เมื่อนักเหตุผลนิยมปฏิเสธความไว้วางใจต่อผู้เชี่ยวชาญและพยายามคิดด้วยตนเอง ก็กลับเสี่ยงในเชิงย้อนแย้งที่จะ มอบการคิดของตนให้ผู้นำที่มีเสน่ห์บารมี

• การ ‘จริงจังกับไอเดีย’ และ ‘ความเป็นเจ้าของการตัดสินใจของตน’ เดิมทีเป็นคุณธรรม แต่เมื่อใช้ผิดทางก็อาจนำไปสู่พฤติกรรมเสี่ยงที่หลุดออกจากบรรทัดฐานได้

ความระมัดระวังต่อจิตวิทยา

• ในกลุ่มที่มีปัญหา การถกเถียงอย่างยาวนานและเข้มข้นเกี่ยวกับ ปรัชญา จิตวิทยา และความสัมพันธ์ภายในกลุ่ม กลายเป็นเรื่องปกติในชีวิตประจำวัน

• ในทางกลับกัน กลุ่ม co-living ที่ดีต่อสุขภาพกลับมุ่งเน้น กิจกรรมภายนอกหรือความสำเร็จที่จับต้องได้ (เช่น การเขียนโปรแกรม การเล่นเกม ฯลฯ)

• สมาชิกของ Black Lotus เองก็มีกรณีที่ได้ความมั่นใจจากการรับบทบาทสำคัญที่มีความหมายจริง

• แม้แต่ใน Leverage Research กลุ่มย่อยที่ทำโครงการจริงจัง (เช่น การพัฒนาคริปโตเคอร์เรนซี) ก็มีความแข็งแรงทางสุขภาวะมากกว่า

• การถกเถียงเรื่อง อารมณ์ภายในกลุ่มและการวิเคราะห์ทางจิตวิทยา มากเกินไป จะยิ่งทำให้ความบกพร่อง ความวิตกกังวล ความโดดเดี่ยว และการตัดขาดจากความเป็นจริงรุนแรงขึ้น

• เมื่อกลุ่มไม่มีเป้าหมายภายนอกที่เป็นรูปธรรม การถกเถียงภายในที่ยืดเยื้อจะยิ่งขยายพลวัตที่เป็นอันตราย

• หากการสำรวจจิตวิทยากลุ่มและอารมณ์เป็นกิจวัตรยาวนานทุกวัน แม้จะยังไม่ถึงขั้นลัทธิ ก็เป็นสัญญาณว่ามีบางอย่างกำลังผิดปกติ

อันตรายของผลลัพธ์นิยม (Consequentialism)

• หากรับเอา โลกทัศน์แบบผลลัพธ์นิยม อย่างจริงจัง ก็อาจใช้เป็นเหตุผลให้เกิดการอุทิศตนและการเสียสละต่อผู้นำอย่างเกินขอบเขตได้
• แนวคิดเรื่อง หายนะการสูญพันธุ์จาก AGI (ปัญญาประดิษฐ์ทั่วไป) ที่ถูกพูดถึงบ่อยในชุมชนนักเหตุผลนิยม ทำให้เกิดความตึงเครียดและความหมกมุ่นภายในกลุ่ม
• ผู้ที่ไม่มีความสามารถมากพอจะมีส่วนร่วมกับ AI ได้ อาจยิ่งยึดติดกับ โครงการทดแทนหรือกลุ่มย่อยขนาดเล็ก จนตกสู่ความบกพร่องได้ง่าย
• อุดมการณ์ใหญ่โต (เช่น วิกฤตของมนุษยชาติ) ทำให้แม้แต่เรื่องในชีวิตประจำวันก็ถูก เติมความหมายเกินจริง
• ทั้งที่ในความเป็นจริง การรับมือวิกฤตคือความต่อเนื่องของงานที่เรียบง่ายและซ้ำๆ แต่กลับแสวงหาจินตนาการแบบวีรบุรุษที่ไม่สอดคล้องกับสิ่งนั้น

ความระมัดระวังต่อความโดดเดี่ยว

• ความโดดเดี่ยวทางสังคม การคล้อยตามกันภายในกลุ่ม และการตัดขาดจากภายนอก คือหัวใจสำคัญที่ทำให้ความบกพร่องรุนแรงขึ้น
• การที่สมาชิกไม่ออกไปไหนนอกบ้านหรือสำนักงาน เป็นหนึ่งในสัญญาณที่ชัดที่สุดว่ากลุ่มนั้นอาจเป็นลัทธิ
• ความจริงที่นิยามกันเองเฉพาะภายใน การ排除ผู้วิจารณ์ และการเฝ้าระวังกันเอง นำไปสู่ภาวะคิดแบบหมู่และการเชื่อเกินพอดี
• รูปแบบที่อาศัยอยู่บ้านเดียวกันและให้กลุ่มจัดหาทุกความจำเป็น ทำให้ ความเป็นอิสระและความสามารถในการใช้ชีวิตในโลกภายนอก อ่อนแอลง
• ความลับแม้แต่ระหว่างกลุ่มย่อยภายในเองก็เป็นปัญหา และการเปิดโปงกับการสื่อสารที่ไม่เพียงพอก็ยิ่งทำให้วงจรเลวร้ายดำเนินต่อไป

บทสรุปและข้อเสนอแนะ

• ความบกพร่องของชุมชนนักเหตุผลนิยมไม่ได้ร้ายแรงเป็นพิเศษกว่าที่อื่น เพียงแต่ปรากฏออกมาใน “รูปแบบที่น่าสนใจกว่า”
• แนวโน้มเฉพาะของชุมชนอย่างการ ‘ลงมือทำตามสิ่งที่เชื่อ’ และ ‘ใช้ชีวิตต่างจากสังคมเดิม’ เป็นหนึ่งในสาเหตุ แต่ก็ ไม่อาจกำจัดได้หมดสิ้น
• ในระดับปัจเจกและระดับชุมชน กลยุทธ์ต่อไปนี้จะช่วยลดความบกพร่องได้

คำแนะนำสำหรับปัจเจก

1. หากมีการพูดคุยยาวนานต่อเนื่องเกี่ยวกับความสัมพันธ์และอารมณ์ภายในกลุ่ม นั่นคือสัญญาณเตือน
2. ทำกิจกรรมที่มีเกณฑ์วัดความสำเร็จอย่างเป็นรูปธรรม และสร้างจุดเชื่อมต่อกับโลกภายนอก
3. รักษาความสัมพันธ์กับกลุ่มสังคมที่หลากหลาย
4. แยกเรื่องงาน ที่อยู่อาศัย และกระบวนการบำบัดออกจากกัน
5. ต่อให้เป็นความเชื่อที่ทุกคนในกลุ่มยอมรับ ก็ยังต้องให้คนนอกหรือการตรวจสอบอย่างอิสระช่วยทวนสอบ
6. หากตรรกะนามธรรมที่สลับซับซ้อนยาวเหยียดสุดท้ายลงเอยว่า “ทำร้ายผู้อื่นได้” หรือ “ทุกอย่างสำคัญน้อยกว่างานนี้” ก็ควรตั้งข้อสงสัย
7. หากไม่มีทางเลือกอื่นและกำลังจะเข้าร่วมกลุ่มที่มีข้อเรียกร้องสูง ควรพิจารณาอย่างรอบคอบ

คำแนะนำสำหรับชุมชน

• รักษาความผูกพันกับสมาชิกที่เข้าไปอยู่ในกลุ่มที่บกพร่อง และให้การสื่อสารแบบปกติมากกว่าการกล่าวโทษ
• สร้าง ความคาดหวังที่เป็นจริง ให้กับสมาชิกใหม่ และพิจารณาขยายการสนับสนุนที่เป็นรูปธรรม
• สื่อสารอย่างตรงไปตรงมาว่าการเข้าสู่พื้นที่อย่าง AI safety ไม่ใช่เรื่องง่าย และอย่าลดทอนคุณค่าของคนที่ไม่สามารถมีส่วนร่วมได้
• กระตุ้นการพูดคุยเรื่อง “เส้นห้ามทางจริยธรรม” (สิ่งที่ชัดเจนว่าไม่ควรทำ)

[GN⁺]

ความเห็นจาก Hacker News

• เป็นบทความที่น่าสนใจมาก เมื่อ 15 ปีก่อน ฉันเคยมองว่าพวกที่ประกาศตัวว่าเป็นนักเหตุผลนิยมเหล่านี้ก็แค่คนเขียนแฟนฟิกยืดยาว แต่ตอนนี้กลับรู้สึกว่ากลุ่มย่อยของพวกเขาไปถึงขั้นฆาตกรรมและไล่ผีแล้ว ความรู้สึกนี้คล้ายกับคนอ่านงานของ Hubbard ในยุค 1950 แล้วอีกหลายสิบปีต่อมามาเห็นว่า Hubbard กลายเป็นผู้นำศาสนาขนาดใหญ่ บทความนี้พยายามอย่างมากที่จะหาด้านบวกของกลุ่มพวกนี้ และยกคำกล่าวว่า “พวกนักเหตุผลนิยมมีมุมมองที่ถูกต้องในช่วงต้นของการระบาดโควิด และเป็นกลุ่มแรก ๆ ที่เตือนเรื่องภัยคุกคามจาก AI” แต่ฉันรู้สึกว่าการเห็นด้วยกับมุมมองของ WHO หรือคิดว่า AI แบบ Skynet อาจอันตรายนั้นไม่ได้พิเศษอะไร ตัวอย่างความสำเร็จของนักเหตุผลนิยมที่บทความยกมาดูคล้ายคำพูดที่ว่านาฬิกาเสียก็ยังบอกเวลาถูกวันละสองครั้ง

  • WHO ยังไม่ได้ประกาศให้เป็นโรคระบาดใหญ่จนถึงวันที่ 11 มีนาคม 2020 และก็มีนักเหตุผลนิยมบางคนที่เตือนก่อนหน้านั้นด้วย (คนอื่นก็เหมือนกัน) ฉันเคยอ่านคำเตือนจากบล็อกของนักเหตุผลนิยมแล้วเอาไปโพสต์ข่าวโควิดในฟอรัมอื่น จนถูกมองว่าเป็นคนที่ให้คำเตือนสำคัญในที่นั้น แต่ก็ไม่รู้ว่ามันสร้างความแตกต่างใหญ่จริงไหม
    https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/

  • ย่อหน้านั้นทำให้ผิดหวังมากจนฉันหยุดอ่านตรงนั้นเลย ตัวอย่างทั้งสองเรื่องนั้นไม่จริงทั้งคู่ และน่าเศร้าที่นี่คือสิ่งที่บทความหาได้เพื่อปกป้องเหตุผลนิยม ภัยคุกคามจาก AI ไม่ได้มีอยู่จริง และคนกลุ่มนี้เองเป็นฉากหลังของการที่ Google ชะลอการเปิดตัว LLM และทำให้โมเดลภาพวาดได้แต่หุ่นยนต์ แต่ตอนนี้เรากลับมีโมเดลที่ดีกว่ามากซึ่งรันบนโน้ตบุ๊กส่วนตัวได้ และก็ไม่มีการว่างงานครั้งใหญ่หรือการล่มสลายอะไร AI ออกจะเป็นมิตรเสียด้วยซ้ำ ส่วนเรื่องหน้ากากนั้น ต่อให้ดูข้อมูลและกราฟจริงแค่ไหนก็ไม่เห็นร่องรอยของผลกระทบที่มีนัยสำคัญ ประเทศที่เดิมแทบไม่ใส่หน้ากากเลยก็หันมาใส่กันหมดชั่วข้ามคืน แต่กราฟจำนวนผู้ติดเชื้อก็ไม่เปลี่ยน เพราะไวรัสเข้าได้ทั้งทางช่องว่างของหน้ากาก ตอนถอดหน้ากาก หรือแม้แต่ทางตา สรุปแล้วนักเหตุผลนิยมไม่ได้ถูกเลยแม้แต่ข้อเดียว น่าผิดหวังจริง ๆ

• บทความนี้เขียนได้สวยมาก และมีงานค้นคว้าต้นฉบับจริงจังอยู่มาก แต่ก็น่าเสียดายที่คอมเมนต์ส่วนใหญ่เป็นปฏิกิริยาแบบฉับพลันว่า "นักเหตุผลนิยม ฮ่า ๆ" ทั้งที่ในบทความมีประเด็นซับซ้อนและลุ่มลึกกว่านั้นมาก แต่กลับไม่ค่อยเห็นคอมเมนต์ที่พูดถึง

  • Asterisk โดยพื้นฐานแล้วคือ “นิตยสารของนักเหตุผลนิยม” และผู้เขียนก็เป็นบล็อกเกอร์สายเหตุผลนิยมที่มีชื่อเสียง เพราะงั้นจึงไม่น่าแปลกใจที่นี่แทบเป็นกรณีเดียวที่ปรากฏการณ์นี้ถูกนำเสนออย่างเป็นธรรม ปกติคนนอกมักบอกว่าเหตุผลนิยมเป็นลัทธิ และ Eliezer Yudkowsky คือผู้นำลัทธิ ซึ่งฉันคิดว่ามุมมองแบบนั้นเองก็ไม่สมเหตุสมผล

  • ฉันคิดว่าอ่านบทความแบบนี้แล้วรู้สึกว่า “ใช่เลย นี่มันลัทธิชัด ๆ” ก็ไม่ได้เป็นปัญหาอะไร ไม่ว่าพวกเขาจะเชื่อเรื่องยานอวกาศ ปีศาจ หรือ AGI ก็ตาม ประเด็นสำคัญจริง ๆ คือ ถ้าผู้นำทำให้สมาชิกแยกตัวออกจากสังคม นั่นคือสัญญาณอันตราย ซึ่งก็ไม่ใช่ข้อค้นพบใหม่หรือพิเศษอะไรนัก

• ปัญหาอย่างหนึ่งที่ฉันรู้สึกกับกลุ่มพวกนี้คือ พวกเขาพูดความเชื่อที่ดูเหมือนต่อเนื่องกันทางตรรกะด้วยความมั่นใจมาก บางครั้งก็ถึงขั้นก้าวร้าว แต่ภายหลังก็พบว่าสมมติฐานพื้นฐานหรือสัจพจน์ที่รองรับมันแทบเป็นแฟนตาซีที่ไม่เคยผ่านการตรวจสอบอะไรเลย เรื่องแบบนี้มีให้เห็นทั่วไป แต่ในคอมมูนิตี้เหล่านี้ยิ่งรุนแรงเป็นพิเศษ พวกเขามักหมกมุ่นอยู่กับตรรกะของตัวเองมากเกินไป จนเวลาเข้าไปมีส่วนร่วมแล้วรู้สึกอึดอัดนิด ๆ คนที่ฉันรู้จักซึ่งฉลาดจริง ๆ มักไม่ค่อยมั่นใจว่าตัวเองรู้อะไรแน่ คนที่สรุปทุกอย่างเองแล้วมั่นใจเกินไปจึงดูน่าสงสัยไว้ก่อน

  • ฉันคิดว่าปัญหาไม่ได้มีแค่เพราะสมมติฐานตั้งต้นผิด คนมักมั่นใจว่าทุกขั้นของการอนุมานเชิงตรรกะต้องตามมาจากขั้นก่อนหน้าอย่างหลีกเลี่ยงไม่ได้ แต่จริง ๆ แล้วแต่ละขั้นมีช่องโหว่เล็ก ๆ ที่สะสมจนความมั่นใจผิด ๆ ขยายตัว นักไม่เหตุผลนิยมอาจไม่ได้จัดการตรรกะเก่งกว่านักเหตุผลนิยม แต่พวกเขาอย่างน้อยก็ยังได้ประโยชน์จากความถ่อมตนทางปัญญา

  • มีโปรไฟล์ของ Curtis Yarvin ในนิตยสาร NYer ที่อยากแนะนำมาก ๆ (Curtis Yarvin เองก็ใช้ "เหตุผลนิยม" เป็นฐานให้ความเชื่อของตัวเอง) โดยเฉพาะช่วงท้ายของบทความที่เขาได้พบกับวีรบุรุษทางอุดมการณ์ที่ตัวเองเคารพอย่างยาวนานนั้นน่าสนใจมาก
    https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile

    อินเทอร์เน็ตทำให้กลุ่มแบบนี้เพิ่มจำนวนอย่างระเบิด เพราะออนไลน์ทำให้เราเห็นแค่ ‘ไอเดีย’ ไม่ใช่ ‘คน’ ถ้าต้องอยู่ในห้องเดียวกันหรือบนเกาะเดียวกันกับพวกนักเหตุผลนิยมตัวจริงที่ศรัทธาแรงกล้าเป็นเวลานาน ต่อให้พวกเขาเขียนอย่างฉลาดแค่ไหน ในชีวิตจริงคุณจะเลิกสนใจทฤษฎีพวกนั้นอย่างรวดเร็ว

  • ฉันเห็นด้วยกับประเด็นที่ว่า “ใครก็ตามที่มั่นใจในอะไรมากเกินไปนั้นน่าสงสัย” นั่นก็เป็นเหตุผลเดียวกับที่เราเรียกมิจฉาชีพว่า 'conman' พวกเขาใช้ประโยชน์อย่างแยบยลจากความเชื่อตามธรรมชาติที่ว่าความมั่นใจต้องเชื่อมโยงกับความถูกต้อง ต่อให้ไม่ใช่การหลอกลวง คนเราจะมั่นใจได้อย่างไรถ้าไม่ใช่เพราะเมินหลักฐานอีกด้านทั้งหมด คนที่รู้จริงมักจะจำกัดบริบท พูดอย่างระมัดระวังโดยใส่คำอย่าง ‘อาจจะ’ หรือ ‘ถ้า’ ไว้เสมอ และแทบไม่พูดแบบเหมารวม

  • “จงเห็นคุณค่าคนที่ค้นหาความจริง และจงระวังคนที่คิดว่าตัวเองพบความจริงแล้ว” - Voltaire

  • ยังมีข้อถกเถียงมากมายเรื่องมูลค่าของเงินในอนาคตด้วย ลองดู “discount function” บางคนที่เรียกตัวเองว่า ‘rational altruists’ ใช้ค่ามูลค่าอนาคตเป็น 1.0 ส่วนฝั่ง “drill, baby, drill” ใช้ค่าใกล้ 0
    ฉันคิดว่าฟังก์ชันส่วนลดต้องมีพจน์ของสัญญาณรบกวนที่สะท้อนความไม่แน่นอนของการพยากรณ์อยู่ด้วย เพราะยิ่งทำนายอนาคตไกลเท่าไร สัญญาณรบกวนก็ยิ่งมาก ถ้าไม่คำนึงถึงเรื่องนี้ เราจะไปแก้ปัญหาผิด ๆ แล้วก็ล้มเหลว เหมือนที่คนในยุคโรมันโบราณเคยกังวลว่าจะไม่มีที่ฝังศพ หรืออย่างปัญหาพลังงานหมดกับประชากรล้นโลกที่ไม่เกิดขึ้นจริง ก็เพราะมีการใส่สัญญาณรบกวนเข้าไปในกระบวนการพยากรณ์น้อยเกินไป
    https://en.wikipedia.org/wiki/Discount_function

• นานมาแล้วฉันเคยเจอ Eliezer Yudkowsky เขาให้แผ่นพับเกี่ยวกับความมีเหตุผลกับฉัน ซึ่งเนื้อหาดูเหมือนเป็นมุกตลก หรือไม่ก็เสียดสีการเผยแพร่ศาสนาเสียมากกว่า เราเลยหัวเราะด้วยกัน หลังจากพลิกดูไม่กี่ครั้งฉันก็เอาไปเก็บบนชั้นหนังสือ แล้วก็ไม่เคยคิดเลยว่าคนคนนี้จะมีอิทธิพลได้มากขนาดนี้

  • ฉันคิดว่าคนแบบนี้ได้อานิสงส์จาก halo effect พอดูภูมิหลังของพวกเขาแล้วก็ไม่เห็นมีอะไรที่อธิบายได้ว่าทำไมถึงขึ้นมาถึงจุดนี้ได้ ถ้าจำไม่ผิด Eliezer Yudkowsky จัดอยู่ในประเภท Thiel baby ไม่ใช่หรือ?

  • สำหรับฉัน Eliezer Yudkowsky เป็นที่รู้จักแค่จากแฟนฟิก Harry Potter เรื่อง <Harry Potter and the Methods of Rationality> เท่านั้น นอกจากนี้เขามีเหตุผลอะไรที่ทำให้ดังในวงกว้างอีกไหม?

• คนพวกนี้ดูเหมือนอยากทำปรัชญา แต่ก็หยิ่งเกินกว่าจะไปเรียนอย่างเป็นทางการ ฉันเรียกปรากฏการณ์นี้ว่า “small fishbowl syndrome” อยากได้คำที่ดีกว่านี้เหมือนกัน

  • เหตุผลที่คนไม่อยากเรียนอย่างเป็นทางการก็เพราะปรัชญาสมัยใหม่เองดูไม่ค่อยมีประโยชน์นัก ตัวอย่างเช่นคดีข่มขืนที่มหาวิทยาลัย Duke ปี 2006 ถ้าดูให้ดีจะเห็นว่าอาจารย์ที่ร่วมวงความตื่นตระหนกส่วนใหญ่มาจากสายมนุษยศาสตร์ (รวมถึงปรัชญา) และไม่มีใครเปลี่ยนท่าทีเลยจนกระทั่งอัยการถูกตั้งข้อหาทางอาญา ในทางกลับกัน คนที่พอต้านกระแสเรื่องนี้ได้บ้างกลับเป็นนักเศรษฐศาสตร์ นักวิทยาศาสตร์ และนักกฎหมาย จึงเข้าใจได้ว่าทำไมคนถึงไม่อยากไปเรียนต่อในแวดวงมนุษยศาสตร์ที่แม้แต่ถูกผิดพื้นฐานยังแยกไม่ค่อยออก

  • เห็นด้วยสุด ๆ! ฉันเป็นผู้รอดชีวิตที่ทนอยู่ในวงการปรัชญาเชิงวิชาการมา 10 ปี บรรยากาศของคอมมูนิตี้นี้เหมือนเอาเครื่องบินที่บรรทุกนักศึกษาปริญญาตรีเต็มลำไปปล่อยลงบนเกาะ Survivor แล้วให้อาหารแค่ pizza pockets แบบไม่จำกัดกับ Adderall

  • จำเป็นต้องมีการฝึกอย่างเป็นทางการจริงหรือ? ฉันคิดว่าการอ่านงานคลาสสิกโดยตรง เช่น Plato, Socrates, Dostoevsky, Camus, Kafka ยังดีกว่าสิ่งที่พวกเขาทำกันอยู่ตอนนี้มาก

• “นักเหตุผลนิยมจำนวนมากคาดว่า หากไม่มีความพยายามระดับวีรบุรุษ การพัฒนา AGI จะทำให้มนุษยชาติสูญพันธุ์” “ความเชื่อแบบนี้ทำให้ยากที่จะสนใจเรื่องอื่น เพราะถ้ามนุษยชาติใกล้สูญพันธุ์อยู่แล้ว อาชีพพยาบาล ทนายรับรองเอกสาร หรือนักประพันธ์จะมีความหมายอะไร” ถ้าแทนคำว่า AGI apocalypse ด้วยการถูกรับขึ้นสวรรค์ ก็คล้ายกับคริสเตียนฟันดาเมนทัลลิสต์ในอเมริกามาก พวกเขาปฏิเสธการแก้ปัญหาสิ่งแวดล้อม เศรษฐกิจ และสังคม เพราะเชื่อว่าการถูกรับขึ้นสวรรค์จะมาถึงในไม่ช้า เมื่อหมกมุ่นกับวันสิ้นโลกแบบนี้แล้วมันยากมากที่จะเอาออกจากหัว และถ้าใครเคยมีประสบการณ์กับโรควิตกกังวล ก็จะรู้ว่าจินตนาการแบบหายนะเป็นสิ่งที่ต้องเอาชนะให้ได้ แต่ในคอมมูนิตี้แบบนี้กลับยิ่งช่วยกันเสริมพลังให้ความเชื่อเรื่องหายนะ จนหลุดออกจาก 'loop of doom' ซ้ำ ๆ ไม่ได้

  • ฉันเองก็โตมากับความกลัวว่าโลกจะพังพินาศ และความหวาดกลัวว่าจะ “ถูกลากลงนรก” จนตอนนี้ยังต้องจัดการความกังวลอย่างเข้มงวด มันไม่ได้มาจากเหตุผลเชิงตรรกะเลย แต่มาจากความกลัวที่เทมาจากสื่อทุกชนิดในบ้านและคอมมูนิตี้รอบตัว

  • ความเชื่อเรื่องการถูกรับขึ้นสวรรค์ สำหรับผู้ศรัทธาแล้ว (ถ้าดูตามความหมายเดิม) ไม่ใช่หายนะ กลับกัน ฝั่ง AI apocalypse สุดโต่งกว่าด้วยซ้ำ และในความเป็นจริงก็ไม่ได้มีพวกฟันดาเมนทัลลิสต์มากนักที่ยอมทิ้งทุกอย่างในโลกจริงเพราะความเชื่อของตัวเอง

  • มีคนจำนวนมากที่เชื่อว่าการเปลี่ยนแปลงสภาพภูมิอากาศจะนำปัญหาเลวร้ายมาให้ ซึ่งความเชื่อแบบนั้นก็พอเข้าใจได้ และหากมองกว้าง ๆ ชาวอเมริกันส่วนใหญ่ก็มีอะไรสักอย่างที่เชื่อแบบหายนะกันทั้งนั้น ความเชื่อเรื่อง AGI doom ก็มีตรรกะในตัวมันอยู่พอสมควร ฉันไม่ได้เชื่อฝั่งนั้น แต่ถ้ามองในฐานะระบบความเชื่อ มันใกล้กับความเชื่อเรื่อง climate change มากกว่า

  • ถ้าแทน AGI ด้วย climate change ก็จะได้ระบบความเชื่อที่ดูสมเหตุสมผลมากทีเดียว

• ฉันเผลอนึกถึงฉากใน Avengers ภาคแรกที่ Loki ตะโกนใส่ฝูงชนจากที่สูงว่า “ดูสิ นี่ไม่ใช่ธรรมชาติของพวกเจ้าหรือ” อยู่เรื่อย ๆ ในความหมายหนึ่ง ดูเหมือนคนเราจะรู้สึกโล่งใจประหลาด ๆ เมื่อไม่มีทางเลือก และเมื่อประกบกับระบบเหตุผลนิยมที่ตั้งอยู่บนตรรกะซึ่งทนความคลุมเครือไม่ได้ มันก็พร้อมจะวิ่งออกนอกทางไปในทิศทางแปลก ๆ ได้ง่าย

  • มนุษย์อาจไม่ใช่ไก่ แต่ดูเหมือนจะชอบการแย่งลำดับชั้นแบบกลาย ๆ อยู่เหมือนกัน

  • คนพวกนี้มักพัฒนาตรรกะของตัวเองขึ้นมาเพื่อให้ทำสิ่งที่ตัวเองอยากทำได้ ฉันคิดว่ามันคือเวอร์ชันสมัยใหม่ของเรื่องเก่าที่ว่าพระเจ้ากำลังชี้นำตนเอง

• ในฐานะคนที่รู้จักนักเหตุผลนิยมดีพอสมควร ขอพูดว่า

  1. ถ้ามีเรื่องให้วิจารณ์ พวกเขาเองก็วิจารณ์และขบคิดเรื่องนั้นกันมาตลอดอยู่แล้ว (รวมถึงเรื่องที่ชื่อเรียกของตัวเองฟังดูงี่เง่าด้วย) ไม่ได้แปลว่าพวกเขาแก้ปัญหาได้แล้ว
  2. พวกเขาอ่านหนังสือกันเยอะมากจริง ๆ ไม่ใช่กลุ่มไร้เดียงสาหรือสับสน ตรงกันข้าม พวกเขาชอบทดลองความท้าทายแปลกใหม่อยู่เสมอ ประสบการณ์หลุดโลกที่คุณอาจเจอในคอมมูนิตี้นี้น่าทึ่งจริง ๆ
  3. พวกเขามี “ความตั้งใจจริงที่จะทำสิ่งดี” อยู่ด้วย คุณอาจเคยได้ยินเรื่องกลุ่มประหลาด น่าอึดอัด หรือค่อนข้างน่ากลัว แต่ข่าวลือไม่ค่อยเล่าถึงโปรเจกต์ดี ๆ ที่ใจดีและเท่
     จากประสบการณ์ของฉัน จุดที่พวกเขาหลงทางมักอยู่ตรงการหมกมุ่นกับ ‘ความพยายามที่เลยเถิดเกินวิธีการ’ แก่นของโปรเจกต์สายเหตุผลนิยมส่วนใหญ่คือใจที่อยาก “คิดใหม่เกี่ยวกับความทุกข์ในชีวิตประจำวันของผู้คน และหาทางออกที่ทำให้ทุกคนมีความสุขได้” คนที่มองโลกตามจริงหรือค่อนข้างประชดประชันคงจะบอกว่า ไม่ว่าจะแก้ปัญหาอะไร ก็ต้องมีใครสักคนไม่พอใจอยู่ดี แต่นักเหตุผลนิยมกลับพยายามฝ่าข้อจำกัดนั้นให้ได้ จึงไม่ใช่แค่ตัวเองที่ burnout แต่ยังพาคนรอบข้างลงเครื่องปั่นไปด้วย ในกรณีสุดโต่ง กลุ่ม Zizians ถึงกับสรุปว่า “มนุษย์ส่วนใหญ่ไม่มีวิญญาณ ดังนั้นถ้าไม่สนคนไร้วิญญาณก็ทำให้ทุกคนมีความสุขได้” ถ้าเบากว่านั้นหน่อยก็จะกลายเป็นอุดมคติแบบเพ้อฝัน (ความฝันที่ทำไม่ได้จริง) หรือเป็นตรรกะที่ตัดขาดจากความเป็นจริง เช่น “ถ้าการทดลองทางความคิดนี้มีโอกาสแม้เพียง 1% ที่จะก่อให้เกิดความทุกข์ระดับ 9 quadrillion หน่วย ฉันก็ต้องอุทิศชีวิตทั้งหมดเพื่อหยุดมัน และถ้าคุณไม่ทำแบบเดียวกัน คุณก็มีความรับผิดชอบทางศีลธรรมต่อความทุกข์ 9 quadrillion หน่วยนั้น ดังนั้นคุณคือคนชั่ว”
     นักเหตุผลนิยมส่วนใหญ่แม้จะประหลาด แต่ก็อย่างน้อยยังใช้ชีวิตห่างจากพวกสุดโต่งเพี้ยนจัด แค่กิน “มังสวิรัติที่มีส่วนผสมจากสัตว์ซึ่งไม่รู้สึกเจ็บปวด” แล้วถ้าหารายได้ปีละ $300k ก็เอาไปบริจาค $200k คนที่สุดโต่งมากจริง ๆ นั้นคุยด้วยแทบไม่ไหว และทุกคนก็มักหลบพวกเขา

• กลุ่มนี้เติบโตขึ้นพร้อมกันจากหลายเส้นด้าย: แต่ละเว็บไซต์ แต่ละคอมมูนิตี้ ฯลฯ ในวงการปรัชญา ฉันเคยเห็นทฤษฎี Simulation ของ Nick Bostrom ถูกประเมินค่าสูงเกินมูลค่าที่แท้จริงมาก (หลายคนรับเอาไปแบบไม่วิจารณ์ในระดับความเข้าใจแบบสาธารณะ) พอมองย้อนกลับไปก็พบว่าประเด็นนี้ค่อย ๆ พัฒนาบน less wrong และเว็บไซต์อื่น ๆ อีกหลายแห่ง ฉันเคยสงสัยว่าทำไมการถกเรื่อง simulation ถึงครอบงำปรัชญา และรากของมันมาจากไหน ตอนนี้พอมองย้อนกลับไปก็เห็นว่าปรากฏการณ์ทั้งหมดขยับไปด้วยกันเป็นชุดเดียว
  ภายนอกมันดูฉลาด และบางเว็บไซต์ก็จริงใจ แต่สุดท้ายกระแสก็เพี้ยนไป

  • เพื่อไม่ให้เข้าใจผิด บทความนี้ไม่ได้เรียกเหตุผลนิยมว่าเป็นลัทธิโดยตัวมันเอง แต่กำลังพูดถึงลัทธิที่หยิบยืมแนวคิดบางส่วนของเหตุผลนิยม หรือมีความเชื่อมโยงทางสังคมกับมัน (เช่น Zizians)

  • คอมเมนต์จำนวนมากกำลังพูดถึงลัทธิโดยทั่วไป แต่จริง ๆ แล้วควรดูว่าทำไมลัทธินี้ถึงประสบความสำเร็จเป็นพิเศษ ส่วนสำคัญของสูตรสำเร็จคือจุดที่เงินกับสถานะมาบรรจบกัน คนดังใน Silicon Valley เข้าไปเชื่อมโยงกัน และมีทุนจาก angel/VC เข้ามาประกอบ จึงแพร่กระจายอย่างรวดเร็ว
    ช่วงหนึ่งมันเป็นคอมมูนิตี้ที่มีทั้งสถานะ (และอาจรวมถึงเงิน) ตามมาด้วย นั่นจึงทำให้มันประสบความสำเร็จอย่างผิดปกติ