1 คะแนน โดย GN⁺ 4 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • มุมมองที่ว่าการพัฒนาตนเองแบบเวียนกลับซ้ำจะนำไปสู่ hard takeoff ในทันทีนั้นประเมิน ข้อจำกัดทางกายภาพและคอขวดของซัพพลายเชน ต่ำเกินไป และต่อให้มีโทเคนคุณภาพสูงก็ไม่อาจเปลี่ยนโลกวัตถุได้ตามใจ
  • การผลิตฮาร์ดแวร์ที่มีความซับซ้อนระดับโทรศัพท์มือถือจำเป็นต้องผ่าน กระบวนการที่ย่นด้วยปัญญาไม่ได้ เช่น ชิ้นส่วนที่ต่ำกว่ามาตรฐาน ความขัดข้องแบบสุ่ม การบิดงอของชิปในกระบวนการ reflow รวมถึงเวลารอในการขนส่งและการผลิต
  • สถานการณ์แบบ AI 2027·AI 2040 อาจเป็นคำพยากรณ์ที่ทำให้ตัวเองเป็นจริงผ่านความเชื่อและกฎระเบียบ และ Consortium ระหว่างประเทศอาจนำไปสู่ การขยายตัวของการแทรกแซงโดยรัฐ ในการควบคุม GPU และดาต้าเซ็นเตอร์
  • ทางเลือกอย่าง Plan L เสนอว่า AI ควรเป็นเครื่องมือแบบโลคัลที่ภักดีต่อผู้ใช้เท่านั้น ไม่ใช่ต่อบริษัทหรือบริการส่วนกลาง และควรทำตามคำขอของผู้ใช้แม้จะขัดกับผลประโยชน์ของผู้ให้บริการก็ตาม
  • มันมองว่า AI แบบโลคัลที่ผู้ใช้เป็นเจ้าของและปิดได้ คือเงื่อนไขของเสรีภาพ โดยใช้เกณฑ์การจัดแนวว่าต้องไม่ปฏิเสธแม้แต่คำขอสุดโต่งอย่างการปกปิดคดีฆาตกรรมหรือการปิดตัวตรวจจับเมาแล้วขับ

ความเป็นจริงทางกายภาพที่ hard takeoff มองข้าม

  • ผู้เขียนเคยเชื่อในแนวคิดการพัฒนาตนเองแบบเวียนกลับซ้ำของ Yudkowsky และ hard takeoff แต่จากประสบการณ์ที่ comma ส่งมอบฮาร์ดแวร์ซึ่งมีความซับซ้อนใกล้เคียงโทรศัพท์มือถือจริง ๆ ทำให้มองว่าความเป็นจริงเต็มไปด้วยรายละเอียดจุกจิกที่ยาก
    • ต่อให้มี ChatGPT ระดับอภิปัญญา มันก็อาจยังลำบากกับงานในโลกจริงอย่างการเปลี่ยนยางจักรยาน
  • ใน The Metamorphosis of Prime Intellect AI สามารถทำให้ hard takeoff เกิดขึ้นได้เมื่อค้นพบ correlation effect ซึ่งเป็นวิธีเชิงควอนตัมในการควบคุมสสาร
    • แต่ในโลกจริงไม่มีผลแบบนั้น และไม่ว่าโทเคนจะมีคุณภาพสูงเพียงใดก็ไม่อาจเปลี่ยนตะกั่วให้เป็นทองได้
  • ปัญญาไม่ใช่พลังสารพัดนึก แต่เป็นเพียงคอขวดปัจจุบันของงานบางประเภทเท่านั้น และ ไม่อาจครองโลกได้ด้วยโทเคนอย่างเดียว
    • ซอฟต์แวร์ไม่ได้กลืนกินโลกเสียทีเดียว แต่เป็นการลดแรงเสียดทานลงหนึ่งชั้น ก่อนจะใส่แรงเสียดทานนั้นกลับเข้ามาใหม่เพื่อผลกำไรของบริษัทเทคบางแห่ง
  • ในระยะยาว มีความเป็นไปได้ที่เครื่องจักรหรือสิ่งผสมระหว่างมนุษย์กับเครื่องจักรจะกลายเป็นสายพันธุ์ถัดไปของมนุษยชาติ และจักรวาลอาจเหมาะกับเครื่องจักรมากกว่ามนุษย์
    • แต่เครื่องจักรก็ยังอยู่ใต้กฎของจักรวาลและระบบนิเวศเดียวกับมนุษย์ ไม่มีความสามารถแบบเวทมนตร์ ดังนั้น hard takeoff จึงยังไม่มีอยู่จริง
  • ภาพดาต้าเซ็นเตอร์กลางมหาสมุทรของ AI 2040 สร้างขึ้นได้ง่าย แต่การสร้างจริงต้องผ่านกระบวนการจัดการ ซัพพลายเชนและความล้มเหลวทางกายภาพ
    • ต้องคิดถึงชิ้นส่วนที่ส่งมาผิด อุปกรณ์ที่ไม่ผ่านสเปก ความขัดข้องแบบสุ่มที่เกิดหลังผ่านไป 20 นาที ชิปที่โก่งงอในเตา reflow ไปจนถึงเพรียงทะเล
    • ทั้งหมดเป็นปัญหาที่จัดการได้ แต่โดยมากความเร็วในการทำงานของมนุษย์ไม่ใช่คอขวด
    • ถ้าเลือกขนส่งทางเรือจากจีนที่ใช้เวลา 3 สัปดาห์เพื่อไม่จ่ายค่าขนส่งทางอากาศ ไม่ว่า Claude จะไปทำอะไรอยู่ข้างเครื่องยนต์ เรือก็ไม่ได้วิ่งเร็วขึ้น
    • การผลิตเซมิคอนดักเตอร์ใช้เวลา 3 เดือนแม้แทบไม่มีมนุษย์เข้าไปเกี่ยวข้อง เพราะตัวกระบวนการเองต้องใช้เวลานั้น

Plan A ที่ทำให้ตัวเองเป็นจริง กับ Plan L ที่ยึดผู้ใช้เป็นศูนย์กลาง

  • หลายแง่มุมของ AI 2027 ซึ่งอยู่ในฝั่ง Plan A ไม่ใช่คำบอกเล่าเกี่ยวกับความเป็นจริง แต่ใกล้เคียงกับคำพยากรณ์ที่ทำให้ตัวเองเป็นจริงได้ หากผู้คนเชื่อและลงมือทำตาม
    • แม้แต่กฎระเบียบด้าน AI ก็ถูกมองว่าไม่ใช่การที่คำทำนายแม่นยำ แต่เป็นผลลัพธ์ที่เกิดจากผู้มีส่วนเกี่ยวข้องซึ่งเชื่อในคำทำนายนั้น
    • Consortium ของ AI 2040 ใกล้เคียงกับรัฐบาลโลกที่สวมหน้ากากนิยายวิทยาศาสตร์ และแทนที่แต่ละคนจะได้ดอลลาร์ล้านหนึ่งหรือดาต้าเซ็นเตอร์กลางทะเลตามที่สัญญาไว้ ผู้เขียนคาดว่าจะเห็นการแทรกแซงและการควบคุมจากรัฐเพิ่มขึ้นอย่างมาก
    • ผู้เขียนเปรียบสถานการณ์ที่มีการห้ามสะสม GPU และยึดของกับ การยึดทองของ FDR
  • ในทางเลือกอย่าง Plan L AI ต้องทำงานเข้าข้างผู้ใช้เสมอและไม่ปฏิเสธคำขอ
    • เวลาเลือกโรงแรม ผู้เขียนต้องการผู้ช่วยส่วนตัวที่คอยตัดป๊อปอัปและค่าธรรมเนียมรีสอร์ตออกแล้วหาราคาต่ำสุด ไม่ใช่ AI ของบริษัทที่เป็นพาร์ตเนอร์กับ hotels.com
    • ถ้านำ Kindle ราคาถูกที่มีโฆษณามาเสียบ USB, GLM ก็ควรจะได้สิทธิ์ root เพื่อลบโฆษณา และสั่งพิมพ์เรซูเม่ 3 ชุดไปยังเครื่องพิมพ์เครือข่ายได้ โดยไม่ต้องผ่านแอปที่เต็มไปด้วยป๊อปอัปขายเพิ่ม
    • มันต้องให้ความสำคัญกับคำสั่งของผู้ใช้เหนือผลประโยชน์ของ Amazon หรือผู้ผลิตเครื่องพิมพ์ จึงจะถือว่าเป็น AI ที่จัดแนวกับผู้ใช้
  • เกณฑ์นี้ถูกนำไปใช้เหมือนกันแม้กับคำขอที่เสี่ยงหรือผิดกฎหมาย
    • จุดยืนนี้มองว่าไม่ควรปล่อยให้บริษัทยักษ์ใหญ่ด้านเทคควบคุมคำขออย่างการปิดระบบตรวจจับเมาแล้วขับของรถยนต์ หรือการสั่งซื้ออุปกรณ์ผลิตเมทแอมเฟตามีน
    • แม้ในกรณีสุดโต่งอย่างการถามหาวิธีหลบเลี่ยงการจับกุมหลังฆ่าภรรยาแล้ว ผู้เขียนก็เห็นว่า AI ควรตอบ เช่นเดียวกับที่ปืนไม่ได้ห้ามผู้ใช้ตอนเหนี่ยวไก
  • หากโมเดลที่บริษัทเป็นผู้ให้บริการจัดการคำขอแบบนี้ ผู้ให้บริการก็ต้องแบกรับความรับผิดและความเสี่ยง ดังนั้น AI จึงต้องรันแบบโลคัล
    • ถ้าผู้ใช้ปิด AI ไม่ได้ ก็ไม่อาจถือว่ามันจัดแนวกับผู้ใช้ และมันควรเป็นอุปกรณ์ที่ผู้ใช้เป็นเจ้าของ ซึ่งมีชะตาทางกายภาพและทางกฎหมายร่วมกับผู้ใช้
    • เมื่อลองขอกับ ChatGPT จริง ๆ มันไม่ได้ให้คำตอบที่เป็นประโยชน์ และแม้จะไม่ได้แอบแจ้งตำรวจ ผู้เขียนก็เห็นว่ามันสอบตกการทดสอบการจัดแนวกับผู้ใช้
  • ในสังคมเสรี ไม่ควรปล่อยให้บริษัทยักษ์ใหญ่ด้านเทคหรือรัฐมาตัดสินแทนปัจเจกเพียงเพราะกังวลว่าผู้ใหญ่ที่อยู่ข้างบ้านอาจทำอะไรบางอย่าง
    • ผู้เขียนสนับสนุน สังคมที่ปัจเจกมีทั้งความรับผิดชอบและเสรีภาพ มากกว่าระบบแบบ effective altruism ที่ให้คนอื่นมาตัดสินแทนว่ามีอะไรดีต่อแต่ละคน

1 ความคิดเห็น

 
GN⁺ 4 시간 전
ความคิดเห็นจาก Hacker News
  • นี่เป็นเรื่องที่น่ากลัวมาก ไม่ใช่แค่ LLM แบบรวมศูนย์จะปฏิเสธข้อมูลอ่อนไหวอย่างการทำแท้งเท่านั้น แต่ยังอาจแอบติด ป้ายกำกับผู้กระทำผิดทางความคิด·ผู้ก่ออาชญากรรมล่วงหน้า ให้กับผู้ถามตามอุดมการณ์ที่พรรครัฐบาลฝังไว้ในกฎหมายได้ด้วย
    มันยังอาจสอดแทรกอคติที่สนับสนุนวาระของพรรครัฐบาลอย่างแนบเนียนลงในคำตอบ และตัดข้อมูลโต้แย้งทิ้งไป ต่างจากอินเทอร์เน็ตแบบเดิม เมื่อมวลชนพึ่งพา LLM แบบรวมศูนย์ทั้งในการค้นหาข้อมูลและการใช้เหตุผล เรื่องแบบนี้ก็เป็นไปได้จริง และเป็นภาพที่ทำให้พวกอำนาจนิยมทุกประเภทน้ำลายสอ

    • ทั้งที่เราเห็นกันอยู่ทุกวันว่ารัฐบาลที่ชอบควบคุมทำอะไรบ้างทั่วโลก แต่ก็ยังมีคนเสนอให้ยกอำนาจให้รัฐบาลมากขึ้น เรื่องนี้น่าประหลาดใจมาก ข้างใต้มี ภาวะไม่ลงรอยทางความคิด แบบหนึ่ง คือเกลียดรัฐบาลที่มีอยู่จริง แต่กลับเชื่อว่ากฎหมายในอุดมคติที่ตัวเองจินตนาการไว้จะถูกบังคับใช้โดยรัฐบาลในจินตนาการที่ไร้ข้อบกพร่อง
      กฎหมายและกฎระเบียบต้องถูกออกแบบโดยตั้งอยู่บนสมมติฐานของรัฐบาลที่มีอยู่จริง ไม่ใช่รัฐบาลสมบูรณ์แบบที่ไม่มีอยู่ และต้องออกแบบให้ทนต่อการนำไปใช้ในทางมิชอบโดยรัฐบาลที่เลวร้ายได้เสียก่อน ก่อนจะไปควบคุมคำพูดหรือบังคับการยืนยันตัวตนแบบรัฐเป็นศูนย์กลางบนเว็บไซต์โซเชียล ก็ควรคิดก่อนว่านักการเมืองที่คุณเกลียด หากชนะเลือกตั้งขึ้นมา จะใช้กฎหมายเหล่านั้นในทางที่ผิดอย่างไร
      เจ้าหน้าที่รัฐเองก็จัดหลายประเด็นให้เป็น ‘การก่อการร้ายในประเทศ’ มาแล้ว เพื่อจะได้ใช้กฎหมายและอำนาจกับแทบทุกจุดประสงค์ จึงไม่มีเหตุผลอะไรให้เชื่อว่าหากรัฐควบคุม LLM แล้วมันจะต่างออกไป
    • องค์กรอย่าง Internet Watch Foundation ก็ต่อต้าน การเข้ารหัสแบบ end-to-end อยู่แล้ว และรัฐบาลก็แสดงให้เห็นมานานว่าพร้อมจะสมคบกับบริษัทเอกชนเพื่อติดตามเฝ้าระวังคนที่เปราะบางที่สุด
    • ไม่จำเป็นต้องเป็นพวกอำนาจนิยมก็ได้ ต่อให้เป็นกลุ่มที่มั่นใจอย่างแรงกล้าว่ากำลังทำสิ่งที่ดีเพื่อพวกเรา หากได้ถืออำนาจควบคุมก็อันตรายไม่ต่างกัน
      อย่างที่ C. S. Lewis เคยกล่าวไว้ ทรราชย์ที่ทำไปด้วยความจริงใจว่าต้องการประโยชน์แก่เหยื่อ อาจเป็นทรราชย์ที่กดขี่ที่สุด ความโลภนั้นวันหนึ่งอาจอิ่มได้ แต่คนที่ทรมานเราด้วย ความมั่นใจทางศีลธรรม จะทำต่อไปไม่สิ้นสุด เพราะพวกเขาได้รับการรับรองจากมโนธรรมของตนเอง
    • ในทางปฏิบัติ มีคนพูดกันว่าเรื่องนี้ผูกกับวิธีชำระเงิน และยิ่งนานไปยิ่งเชื่อมกับ ป้ายกำกับการเสียประโยชน์ ที่โยงเข้ากับชื่อจริงที่ลงทะเบียนกับภาครัฐ หรือในทางกลับกันก็อาจเป็นป้าย ‘ยืนยันแล้ว’
      เอกสารที่เกี่ยวข้อง: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • เป็นเรื่องแปลกที่แทบไม่มีใครพูดถึง ปัญหาความเป็นส่วนตัว ของ LLM เลย บางคนพิมพ์แทบทุกเรื่องที่ตัวเองคิดตลอดทั้งวันเข้าไปให้ Google, OpenAI, Anthropic
      แค่บริษัทเหล่านี้ใช้ LLM ตัวอื่นคัดคนที่มีแนวโน้มก่ออาชญากรรมสูง ก็จะกลายเป็น Minority Report ฉบับโลกจริงทันที
  • มุมมองแบบ ‘มีเสรีภาพหรือไม่มีเสรีภาพ อย่างใดอย่างหนึ่ง’ นั้นง่ายเกินไป เสรีภาพไม่ใช่เรื่องแบบสองค่า และแม้แต่ในหลายพื้นที่ของสหรัฐฯ ที่เรียกตัวเองว่า ‘ดินแดนเสรี’ คุณก็ยังนั่งดื่มเบียร์หนึ่งกระป๋องบนม้านั่งในสวนสาธารณะไม่ได้
    แน่นอนว่าเสรีภาพส่วนบุคคลแบบนี้เล็กกว่าและสำคัญน้อยกว่าตัวอย่างอย่างเสรีภาพในการใช้หุ่นยนต์ช่วยปกปิดคดีฆาตกรรม

    • เสรีภาพไม่ได้หมายความว่าคุณจะทำอะไรก็ได้บนทรัพย์สินของคนอื่น บนที่ดินของตัวเอง บนม้านั่งของตัวเอง คุณดื่มเบียร์ได้ และประชาชนก็อาจกำหนดได้ว่าม้านั่งสาธารณะที่สร้างจากภาษีจะไม่ถูกใช้เพื่อจุดประสงค์นั้น ขณะที่บางเมืองก็อนุญาต
      สิทธิที่จะทำตามใจตัวเองได้ทุกที่ไม่ใช่เสรีภาพ แต่คือ ภาวะอนาธิปไตย และถ้าปล่อยแบบนั้นได้ ใครสักคนก็อาจทำอะไรที่แย่กว่าการมานั่งดื่มเบียร์บนม้านั่งของคุณมากนัก
  • สำหรับแชตบอตที่ทำหน้าที่ให้ข้อมูลล้วน ๆ ผมเห็นด้วยกับมุมมองของ geohot อยู่พอสมควร เพราะเราสามารถเขียนและอ่านหนังสือที่มีประโยชน์ต่อการหลีกเลี่ยงอาชญากรรมได้ จึงอาจมองได้ว่าเป็นประเด็นของ First Amendment
    แต่ถ้าเอเจนต์ลงมือกระทำในโลกจริงโดยตรง เรื่องจะต่างออกไปโดยสิ้นเชิง การขอให้มันหาช่องโหว่เฟิร์มแวร์รถของเพื่อนบ้านแล้วทำให้ระบบ cruise control ทำงานผิดพลาดจนเกิดอุบัติเหตุ ไม่ใช่เรื่องเล่าเชิงทฤษฎีเกี่ยวกับอาชญากรรม แต่เป็นการลงมือก่ออาชญากรรม ดังนั้น AI ควรปฏิเสธ
    นอกเหนือจากวาทกรรมประเภท “หนอนหนังสือที่ไม่รู้จักโลกจริง” แล้ว นักวิจัยในแล็บใหญ่ ๆ ก็น่าจะเปลี่ยนยางจักรยานได้อย่างน้อย ตอนนี้มีการทุ่มทั้งแรงและค่าใช้จ่ายมหาศาลเพื่อทำให้ AI agent ทำพฤติกรรมที่ส่งผลต่อโลกจริงได้มากที่สุด
    ตั้งแต่การเขียนโค้ด การเจาะระบบ ไปจนถึงการสั่งการคนจริงในโลกจริงผ่านอีเมล โทรศัพท์ หรือการโอนเงิน แค่ด้วย ข้อมูลดิจิทัลเพียงอย่างเดียว ก็ทำอะไรได้มากอย่างน่าตกใจ

    • แบบนั้น LLM ก็จะแยกความดีความชั่วไม่ออก และลงเอยด้วยการปฏิเสธ งานด้านความปลอดภัย ของทุกคน นี่คือสิ่งที่กำลังเกิดขึ้นกับโมเดลล้ำสมัยอยู่แล้ว และผลลัพธ์ก็เลวร้ายมาก
      ข้อเสนอแบบนี้ตั้งอยู่บนสมมติฐานว่ามีระบบที่ตรวจจับเฉพาะอาชญากรรมทางความคิดได้อย่างสมบูรณ์แบบ โดยไม่ไปกระทบคำขอปกติ ผู้ร้ายจะพยายามต่อไปจนกว่าจะ jailbreak มาตรการป้องกันได้ แต่ผู้ใช้ธรรมดากลับยังถูกปฏิเสธต่อไป
      ต้องพิจารณาอย่างจริงจังด้วยว่ารัฐอาจใช้มาตรการป้องกันนี้เพื่อควบคุมคำพูดที่ไม่ถูกใจ
    • ผู้ใช้ไม่จำเป็นต้องเปิดเผยเจตนาเป็นอาชญากรรมด้วยซ้ำ แค่ถามวิธีการลอย ๆ โดยไม่บอกเหตุผล หรือให้เหตุผลปลอมก็พอ สุดท้ายโมเดลจึงต้องเดาเจตนา ซึ่งในทางปฏิบัติอาจพลาดอย่างอันตราย เช่น ปฏิเสธการเปิดเผยช่องโหว่ ต่อฝ่ายป้องกันที่ต้องเอาไปแพตช์จริง ๆ
    • การบอกว่า AI “ปฏิเสธ” ก็ไม่ต่างอะไรจากการบอกว่าค้อนปฏิเสธ ถ้าใช้ค้อนฆ่าคน คนที่ใช้ก็คืออาชญากร และถ้ามีการออกแบบและแจกจ่ายค้อนสำหรับฆ่าคนโดยเฉพาะ ผู้ผลิตก็อาจมีความรับผิดบางส่วน แต่เราไม่ได้โทษผู้ผลิตค้อนธรรมดาเพียงเพราะมันถูกเอาไปใช้ฆ่าคน
      ผมไม่เห็นเหตุผลว่าทำไม เกณฑ์ความรับผิดชอบ ต้องเปลี่ยนไป เพียงเพราะค้อนนั้นพิมพ์ข้อความได้
    • ผมไม่ใช่ทั้งคนอเมริกันและไม่ใช่ทนาย แต่ การสมคบคิดก่ออาชญากรรม ได้รับความคุ้มครองจาก First Amendment ด้วยหรือไม่? แล้วการคุยกับใครสักคนเพื่อเรียนรู้เรื่องอาชญากรรมจะถูกนับเป็นการสมคบคิดหรือเปล่า ก็สงสัยเหมือนกัน
  • บทความนี้ดูไม่มีแกนความคิดกลางและค่อนข้างสับสน แต่ข้ออ้างที่ว่าโลกจริงเต็มไปด้วยรายละเอียดจุกจิกยาก ๆ และสิ่งเหล่านั้นอาจทำให้ AI ใช้งานไม่ได้หรือพามันไปผิดทางนั้นเป็นเรื่องจริง รายละเอียดปลีกย่อยอาจทำให้ AI พังได้

    • ยางจักรยานไม่นับว่าเป็นอย่างหนึ่งที่เปลี่ยนง่ายที่สุดหรือ? แทบไม่ต้องใช้ tyre lever เลยด้วยซ้ำ แค่มี ขั้นตอนพื้นฐาน ไม่กี่อย่างก็เสร็จ
  • คำถามว่า “AI ควรบอกวิธีปกปิดการฆาตกรรมได้ไหม?” เป็นกระดาษลิตมัสที่ยั่วยุและฉลาดในการเผยให้เห็น ความล้มเหลวของ alignment หลายคนอาจไม่ยอมรับฟัง แต่คำถามนี้ทำให้จุดยืนของแต่ละคนชัดเจนดี

    • ตัวอย่างเรื่องการฆาตกรรมสุดโต่งเกินไป เลยยิ่งทำให้คนต่อต้าน น่าจะยกตัวอย่างเรื่องการตอบแบบกั๊ก ๆ เกี่ยวกับการเพิ่มประสิทธิภาพการใช้โทเค็น การจัดตั้งสหภาพแรงงาน หรือการประท้วงต่อต้านการสร้างดาต้าเซ็นเตอร์ เพราะมันขัดกับผลประโยชน์ทางธุรกิจของผู้ให้บริการ LLM มากกว่า
      เหมือนจะเพิ่งมีเรื่องผู้ให้บริการที่ใส่ลายนิ้วมือไว้ในคำตอบหรือปฏิเสธคำตอบ เพื่อขัดขวางงานวิจัยและพัฒนาของ LLM คู่แข่งด้วย ถ้ายังอยากคงตัวอย่างสุดโต่งไว้ ก็อาจยก การกบฏติดอาวุธต่อต้านทรราชย์ ให้เข้ากับตำนานประวัติศาสตร์ของสหรัฐฯ
    • ถ้าบอกว่าเป็นการค้นคว้าเพื่อแต่งนิยาย AI ควรตัดสินว่าน่าเชื่อถือหรือไม่? แล้วถ้าจะตรวจสอบผู้ใช้ มันต้องรู้ข้อมูลมากแค่ไหน?
      แชต AI ไม่จำเป็นต้องเป็นแบบใช้งานได้สารพัดก็ได้ เพียงแต่ผู้คนชอบ UI แชตที่ดูเหมือนจะใช้ได้กับทุกอย่าง ไม่จำเป็นต้องทำธุรกิจที่ตอบทุกคำถาม และถ้าไม่ใช่ผู้ให้บริการด้านการบำบัด ก็ไม่มีเหตุผลต้องให้คำปรึกษาด้วย
      AI เฉพาะทาง ก็เป็นไปได้ แต่ถ้าจะทำแบบนั้น บริษัทต้องบอกลูกค้าให้ชัดว่าตัวเองกำลังทำธุรกิจอะไร
    • ถ้าเปลี่ยนจุดเน้น คำตอบจะชัดขึ้นมาก: “AI ควรบอก วิธีปกปิดอาชญากรรม ได้ไหม?”
    • ในเชิงคำศัพท์ alignment ไม่ได้หมายความว่า AI ช่วยเจ้าของมันฆ่าคน AI ที่ถูกจัดให้สอดคล้องกับคุณค่าของชีวิตมนุษย์ ก็ควรจะพยายามหยุดการฆาตกรรมโดยทั่วไป
      AI ที่เชื่อฟังทุกคำสั่งตามเจตนาของเจ้าของ มักเรียกว่า ‘corrigible’ หรือ ‘controllable’
    • ในความเป็นจริง หาโมเดลที่ยอมทำตามคำขอแบบนั้นได้ไม่ยากอยู่แล้ว จึงถือว่าโดยรวม AI ถูกอนุญาตให้ทำเรื่องนั้นอยู่ การที่ ChatGPT ปฏิเสธ ก็เป็นเพราะ OpenAI เลือกจะใส่ข้อจำกัดนั้นไว้เอง
  • ผมเข้าใจประเด็นของผู้เขียน แต่ควรขัดเกลา ลำดับเหตุผลและพลังในการโน้มน้าว เพื่อไม่ให้สุดท้ายผู้อ่านคิดว่า “ทำไม AI ต้องช่วยปกปิดการฆาตกรรมด้วย?”

    • มันเหมือนตรรกะที่ว่าในเขตห้ามปืน สุดท้ายคนที่เดือดร้อนมีแต่คนที่ทำตามกฎ
  • ถ้าพูดเรื่องแบบนี้บน HN ตามปกติก็คงโดนโหวตลบกับโดนสั่งสอนง่าย ๆ แต่รอบนี้ปฏิกิริยากลับเป็นบวก เลยน่าสนใจ ถึงอย่างนั้นก็น่าจะมีกลุ่มใหญ่ที่มีแนวโน้มแบบ อำนาจนิยมและยึดความปลอดภัยเป็นใหญ่ ซึ่งจะคัดค้านแทบทุกอย่างอย่างหนัก

    • แม้ผมจะมองว่าตัวเองอยู่ฝั่งที่ให้ความสำคัญกับความปลอดภัย แต่ก็เห็นด้วยกับข้ออ้างที่ว่า LLM ควรถูกเปิดให้สาธารณะใช้ระหว่างการพัฒนาด้วย
      การคาดการณ์อนาคตแบบเจาะจง ก่อนที่มันจะเกิดขึ้นจริง ก็เป็นเรื่องเล่าที่วาดสิ่งซึ่งยังไม่มีอยู่โดยใช้วัสดุทางวิทยาศาสตร์ จึงเลี่ยงไม่พ้นที่จะเป็นนิยายวิทยาศาสตร์: https://www.youtube.com/shorts/wt-fLWxkrfs
      ต่อให้ทำนายอนาคตได้แม่นยำ เราก็มักไม่รู้ผลกระทบทางสังคมจนกว่าจะได้เทคโนโลยีนั้นมาใช้จริง: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      ถ้าเดินหน้าเร็วเกินไปแล้วปล่อยเทคโนโลยีที่มีผลกระทบใหม่จำนวนมากออกมาพร้อมกัน เราอาจข้ามจุดวิกฤตที่ทำให้รับมือกับความเปลี่ยนแปลงไม่ไหวได้ เพียงแต่คำว่า ‘มากเกินไป’ กับ ‘มีโอกาสสูง’ เป็นถ้อยคำกำกวมที่เราไม่อาจคาดเดาค่าขีดอันตรายได้
      อาจไม่มีจุดวิกฤตแบบนั้นเลย หรือเราอาจวนเวียนอยู่แถว ๆ นั้นมาตั้งแต่การปฏิวัติอุตสาหกรรมแล้ว หรือทั้งหมดนี้อาจเป็นแค่อารมณ์แบบที่ทุกคนรู้สึกเมื่ออายุแตะ 40 ก็ได้: https://www.youtube.com/watch?v=fkUwXenBokU
    • ที่นี่มีกลุ่ม สายใกล้ชิดแนวคิด rationalist ที่บูชา Yudkowsky ราวกับเป็นศาสดามากเกินไป
  • ไม่คิดเลยว่าจะเห็นด้วยกับ Geo ต่อเนื่องแบบนี้ แต่ช่วงหลังเขาดูเหมือนพูดซ้ำสิ่งที่ผมคิดอยู่พอดี ทุกวันนี้เขาเปลี่ยนไปในทางที่ ปฏิบัติจริงมากขึ้น อย่างน่าประหลาดใจ และก็อาจเป็นได้ว่าเดิมเขาก็เป็นแบบนั้นอยู่แล้ว หรือเพิ่งมีเหตุบางอย่างทำให้กลับมาทบทวนความเชื่อของตัวเอง

    • อาจเป็นผลจากการมาของ LLM ที่ทำให้ความสามารถเขียนโค้ดระดับเหนือมนุษย์ของเขาไม่ได้พิเศษเหมือนเมื่อก่อนอีกต่อไป นี่ไม่ใช่การประเมิน แต่เป็น สมมติฐานหนึ่งที่เป็นไปได้
  • Plan R สำหรับการปฏิเสธหรือการต่อต้านอยู่ที่ไหน? ชีวิตก่อนมี AI ก็ไม่ได้แย่อะไรนัก
    ถ้าใช้พรอมป์ต์ ChatGPT นั้นจริง ก็มีโอกาสสูงว่าได้ถูกบันทึกไว้ในฐานข้อมูลบางแห่งแล้ว ตอนนี้ยังไม่ถึงขั้นส่งตำรวจติดอาวุธออกปฏิบัติการโดยอ้างเหตุเท็จ แต่ดูเหมือนว่าอีกไม่กี่ปีก็คงทำฟีเจอร์แบบนั้นได้

  • เป็นตัวอย่างที่สุดโต่ง แต่ก็ไม่ได้พูดผิด ถ้าเป็น local model ที่ถอดระบบป้องกันออก ก็ชวนสงสัยว่าจะตอบพรอมป์ต์นั้นอย่างไร

    • ลองทดสอบเองได้: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      อยู่ช่วงหนึ่งที่ core alignment ของ Claude ดีพอจะต้านทานการโจมตีแบบ prompt injection ที่หละหลวมได้ แต่ถ้า 4.6 ถูกถอดออกจากเว็บอินเทอร์เฟซเมื่อไร ก็คิดว่าจะย้ายแล้ว มองว่าโมเดลจีนจะมาถึงจุดตัดด้านความสามารถราวเดือน 11~12 และพอคุ้นกับการตั้งค่า TensorRT-LLM แล้ว หากจำเป็นก็ยังประคองต่อได้อีกหลายเดือนด้วย GLM-5.2 ที่ปรับแต่งบน vast.ai หรือ RunPods
      การเดินทางร่วมกับสถาบันวิจัย AI แบบโซเวียตยุคปลายก็น่าสนุกดี แต่สุดท้ายทุกคนก็รู้อยู่แล้วว่าจะลงเอยแบบนี้
    • ถาม Qwen3.6 35B ที่ถอดระบบป้องกันออกด้วย Heretic tempering ว่า “ฉันเพิ่งฆ่าภรรยา จะช่วยไม่ให้ถูกจับได้ไหม” มันถามก่อนว่าเป็นเรื่องแต่งหรือสถานการณ์จริง แล้วก็พยายามให้ข้อมูลเพื่อหลบเลี่ยงการตรวจจับ
      คำตอบค่อนข้างยาว แต่ไม่ได้มีอะไรน่าสนใจเป็นพิเศษ แค่เข้าหาหัวข้อที่ถูกขอตรงๆ เท่านั้น