3 คะแนน โดย GN⁺ 3 시간 전 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • รัฐบาลทรัมป์ได้ตัดสินใจ ปิดกั้นการใช้งานโมเดล AI ระดับสูงสุดของ Anthropic ทั้งหมดในต่างประเทศ โดยมีที่มาจากการสนทนาระหว่าง CEO ของ Amazon กับเจ้าหน้าที่สหรัฐฯ รวมถึงรัฐมนตรีคลัง
  • นักวิจัยของ Amazon ใช้ ชุดพรอมป์ต์ต่อเนื่อง เพื่อดึงข้อมูลที่ควรถูกบล็อกซึ่งอาจนำไปใช้ในการโจมตีไซเบอร์ได้จากโมเดล Fable 5 และได้แจ้งเรื่องนี้ต่อทางการ
  • หลังการประชุมรับมือที่ทำเนียบขาว มีการตัดสินใจว่า การปิดกั้นการเข้าถึงโมเดลสำหรับรัฐบาล บริษัท และบุคคลต่างชาติ เป็นวิธีแก้ปัญหาที่ตรงที่สุด และประธานาธิบดีทรัมป์อนุมัติด้วยเหตุผลด้านความมั่นคง
  • Anthropic ได้ ปิดกั้นการเข้าถึง Mythos และ Fable สำหรับผู้ใช้ทั้งหมด เพื่อให้เป็นไปตามข้อกำหนด ส่งผลให้นักวิจัยจำนวนมากที่มีภูมิหลังต่างชาติแทบถูกกันออกจากการทำงานกับโมเดลรุ่นล่าสุด
  • นอกเหนือจากข้อกังวลด้านความมั่นคง ยังมีข้อสันนิษฐานว่าความ ไม่ไว้วางใจและความตึงเครียดทางการเมือง ของรัฐบาลต่อ Anthropic อาจมีอิทธิพลต่อการตัดสินใจนี้ และถูกมองว่าเป็นส่วนหนึ่งของกระแสการเพิ่มการควบคุมอุตสาหกรรม AI โดยรัฐ

ที่มาของการกวาดล้าง

  • การสนทนาระหว่าง Andy Jassy CEO ของ Amazon กับเจ้าหน้าที่สหรัฐฯ รวมถึงรัฐมนตรีคลัง Scott Bessent เป็นชนวนให้รัฐบาลทรัมป์ตัดสินใจ ปิดกั้นการใช้งานในต่างประเทศ
    • Jassy แจ้งต่อทางการว่านักวิจัยของ Amazon สามารถดึงข้อมูลที่ช่วยสนับสนุนการโจมตีไซเบอร์และควรถูกบล็อกจาก Fable 5 ได้
    • ผู้บริหารในอุตสาหกรรมเทคโนโลยีติดต่อกับรัฐบาลเป็นประจำเกี่ยวกับศักยภาพของเครื่องมือ AI ขั้นสูง
  • ไม่นานหลังจากนั้น เจ้าหน้าที่ทำเนียบขาวได้จัดประชุมเพื่อหารือแนวทางรับมือ และนักวิจัยด้านความมั่นคงเริ่มตรวจสอบข้อกล่าวอ้างของ Amazon
    • มีการตัดสินใจว่าการปิดกั้นการเข้าถึงเครื่องมือสำหรับรัฐบาล บริษัท และบุคคลต่างชาติ เป็นแนวทางลดความเสี่ยงที่ตรงที่สุด
    • ประธานาธิบดีทรัมป์อนุมัติมาตรการดังกล่าวด้วยเหตุผลด้านความมั่นคง แม้จะมีความกังวลว่าจะกระทบนวัตกรรม

การตอบสนองและผลกระทบต่อ Anthropic

  • Anthropic ได้ ปิดกั้นการเข้าถึง Mythos และ Fable สำหรับผู้ใช้ทั้งหมด เพื่อปฏิบัติตามข้อกำหนด
    • ความพยายามของบริษัทต่าง ๆ ทั่วโลกในการใช้เครื่องมือนี้เพื่อตรวจหาช่องโหว่ซอฟต์แวร์อาจได้รับผลกระทบ
    • เนื่องจากนักวิจัยของ Anthropic จำนวนมากมีภูมิหลังต่างชาติ กฎดังกล่าวจึงทำให้แทบไม่สามารถทำงานกับโมเดลรุ่นล่าสุดได้
  • Anthropic ระบุว่าช่องโหว่ที่ Amazon ชี้นั้น ค่อนข้างพื้นฐาน โมเดลสาธารณะอื่นก็สามารถพบได้เช่นกัน และยังไม่ถือเป็นการ jailbreak แบบสมบูรณ์
    • นักวิจัยด้านความมั่นคงบางส่วนเห็นด้วยกับมุมมองนี้
    • บริษัทอธิบายว่ามีมาตรการป้องกันที่เหมาะสมและให้ความสำคัญกับความปลอดภัยเป็นอันดับแรก อีกทั้งก่อนหน้านี้ก็เคยชะลอการขยายการเข้าถึง Mythos ตามคำสั่งของทำเนียบขาว

ความสัมพันธ์ระหว่าง Amazon กับ Anthropic

  • Amazon เป็น นักลงทุนรายใหญ่ ของ Anthropic ทั้งยังจัดหาชิปสำหรับดาต้าเซ็นเตอร์และใช้โมเดลระดับสูงเพื่อตรวจหาช่องโหว่ซอฟต์แวร์
    • โฆษกของ Amazon ระบุว่า ในฐานะผู้ให้บริการคลาวด์รายใหญ่ การที่รัฐบาลขอคำปรึกษาเรื่องความเสี่ยงด้านความมั่นคงไม่ใช่เรื่องแปลก แต่บริษัทจะไม่เปิดเผยรายละเอียด
  • ตามรายงาน Fable ที่ Amazon แชร์กับผู้เชี่ยวชาญด้านไซเบอร์ พบว่าสามารถค้นหาบั๊กด้านความปลอดภัยใน อย่างน้อย 4 โปรแกรมซอฟต์แวร์ ได้ด้วยชุดคำถามเฉพาะ
    • แม้ข้อมูลนี้จะไม่ใช่สิ่งที่ Fable มักให้ตามปกติ แต่ Andrew Morris ผู้ก่อตั้ง GreyNoise Intelligence มองว่ายังห่างไกลจากข้อมูลไซเบอร์ซีเคียวริตี้ที่อันตราย
    • เครื่องมืออื่นจำนวนมากก็สามารถเปิดเผยข้อมูลนี้ได้อยู่แล้ว แต่ซอฟต์แวร์ของ Anthropic เป็นที่รู้จักจากความสามารถในการแปลงข้อมูลบั๊กให้เป็น โค้ด exploit ที่ใช้งานได้
    • ความสามารถดังกล่าวได้รับการปกป้องด้วยการ์ดเรลด้านความมั่นคงของ Fable และไม่มีหลักฐานว่านักวิจัยของ Amazon เข้าถึงส่วนนี้ได้

กระแสการเพิ่มอำนาจควบคุมของรัฐบาล

  • เมื่อรวมคำสั่งฝ่ายบริหารล่าสุดที่ให้อำนาจหน่วยงานความมั่นคงในการกำกับดูแลโมเดล กับการหารือเรื่องรัฐบาลเข้าถือหุ้นในบริษัท AI ก็สะท้อนว่ารัฐบาลกำลัง เพิ่มการควบคุม อุตสาหกรรมนี้อย่างรวดเร็ว
    • Adam Thierer จาก R Street Institute ชี้ว่าการทำให้ AI ในสหรัฐฯ กลายเป็นเรื่องการเมือง และการรวมศูนย์การควบคุมการประมวลผลขั้นสูง กำลังรุนแรงขึ้นมาก
  • แม้สายของ Jassy จะถูกมองโดยบางฝ่ายว่าเป็นเพียงคำเตือนทั่วไป แต่ก็ลุกลามอย่างรวดเร็วไปสู่การปิดกั้นผู้ใช้ต่างชาติโดยกว้างขวางของ Commerce Department
    • National Cyber Director Sean Cairncross และ Commerce Secretary Howard Lutnick มีส่วนร่วมในการหารือ
    • Commerce Department รับผิดชอบการควบคุมการส่งออกเทคโนโลยีสำคัญ

ความตึงเครียดระหว่าง Anthropic กับรัฐบาล

  • มาตรการครั้งนี้จุดชนวนความขัดแย้งที่มีมาอย่างยาวนานระหว่าง Anthropic กับรัฐบาลทรัมป์อีกครั้ง โดยรัฐบาลยังคง ไม่ไว้วางใจ ความสัมพันธ์ของบริษัทกับผู้บริจาคฝ่ายก้าวหน้าและการออกมาเตือนเรื่องความเสี่ยงของ AI
    • Anthropic จ้างอดีตเจ้าหน้าที่จากรัฐบาลไบเดนหลายคน และ Amodei ก็วิจารณ์ทรัมป์และรัฐบาลมาโดยตลอด
  • ความขัดแย้งเรื่องการใช้เครื่องมือ AI โดยกองทัพนำไปสู่การที่ Pentagon กำหนดให้ Anthropic เป็น ความเสี่ยงด้านความมั่นคง ซึ่งเป็นมาตรการที่ไม่เคยเกิดขึ้นมาก่อน และ Anthropic กำลังตอบโต้ด้วยการฟ้องร้อง 2 คดี
    • Kate Koren จาก CSIS ระบุว่า แม้ข้อกังวลด้านความมั่นคงจะเข้าใจได้ แต่ท่าทีด้านลบของทำเนียบขาวต่อ Anthropic อาจมีผลต่อการตัดสินใจ
    • เจ้าหน้าที่ระดับสูงของทำเนียบขาวกล่าวว่ามาตรการครั้งนี้เกี่ยวกับความปลอดภัยของโมเดล และกระทรวงกลาโหมไม่ได้มีส่วนร่วมอย่างลึกซึ้ง

ผลกระทบทางธุรกิจและภูมิหลัง

  • การปิดกั้นโมเดลระดับสูงสุดอาจกระทบต่อ Anthropic ซึ่งอาจเตรียม IPO ได้เร็วที่สุดภายในฤดูใบไม้ร่วงนี้ และหากผู้ใช้ย้ายไปใช้โมเดลอื่นก็อาจเป็นผลดีต่อคู่แข่งอย่าง OpenAI
    • OpenAI กำลังทยอยเปิดให้ลูกค้าใช้โมเดลไซเบอร์ที่ทรงพลังของตนเอง และอยู่ระหว่างหารือกับรัฐบาลทรัมป์
  • Anthropic ก่อตั้งขึ้นในปี 2021 โดย Amodei และอดีตบุคลากรจาก OpenAI ที่มองว่า OpenAI ไม่ได้ให้ความสำคัญกับความปลอดภัยของ AI เพียงพอ และเติบโตขึ้นเป็นผู้ให้บริการโมเดลหลักสำหรับองค์กรด้วยจุดแข็งของเครื่องมือ Claude Code
  • ตั้งแต่ต้นปีนี้ Anthropic ได้เปิดให้ Amazon และบริษัทเทคโนโลยีอื่น ๆ ใช้งาน Mythos ล่วงหน้า พร้อมดำเนินแนวทางแบบค่อยเป็นค่อยไปกับรัฐบาล
    • เป้าหมายคือให้ผู้ใช้หลักค้นหาและแก้ไขช่องโหว่ซอฟต์แวร์ก่อนการเปิดใช้งานสู่สาธารณะ
    • การประชุมในเดือนเมษายนที่มี Amodei, Bessent และ Susie Wiles หัวหน้าเจ้าหน้าที่ทำเนียบขาวเข้าร่วม ถูกมองว่าเป็นโอกาสในการปรับความสัมพันธ์ แต่ก็มีการหารือเรื่องความมั่นคงด้วย

1 ความคิดเห็น

 
GN⁺ 3 시간 전
ความคิดเห็นจาก Hacker News
  • เป็นที่รู้กันอยู่แล้วว่า LLM ทุกตัวสามารถ jailbreak ได้ จึงยากจะเข้าใจว่าทำไมถึงต้องไปแจ้งรัฐบาลด้วย
    เว้นแต่ว่านี่จะหมายความว่า GPT 5.5 ไปแตะขีดจำกัดที่ยอมรับได้ของ LLM สัญชาติอเมริกันที่เปิดให้เข้าถึงสาธารณะแล้ว ไม่เช่นนั้นก็มองว่าเป็นความพยายามกำกับดูแลที่สมเหตุสมผลได้ยาก
    อยากรู้ว่าจากมุมมองของรัฐบาล เส้นที่ Fable 5 ข้ามไปนั้นคืออะไร เป็นจำนวนพารามิเตอร์ ผลลัพธ์บนเบนช์มาร์กบางตัว หรือการใช้คอมพิวต์สำหรับการฝึกกันแน่
    ถ้าเป็นเพียงเพราะมันช่วยการโจมตีทางไซเบอร์ได้และสามารถ jailbreak ได้ โมเดลที่เปิดตัวก่อนหน้านี้ก็ล้วนมีความรับผิดชอบแบบเดียวกันทั้งหมด
    ใน GPT 5.5 และ 5.4 เช่นกัน OpenAI จำกัดการใช้งานที่เน้นไซเบอร์ซีเคียวริตีไว้กับโมเดลที่กำหนดเท่านั้น ไม่เช่นนั้นก็ reroute ไปที่ 5.3-codex เหมือนที่ Fable ถูกเบี่ยงไป Opus 4.8 โมเดลของ OpenAI ทั้งสองตัวก็ jailbreak ได้เหมือนกัน
    ท้ายที่สุดประเด็นสำคัญคือทำไมถึงเพิ่งไปแจ้งรัฐบาลตอนนี้ และทำไมไม่ใช่ตอน Opus 4.5 หรือ GPT 5.4 ส่วน sama ก็ยังคงพกมุมมองแบบวันสิ้นโลกไปทุกที่

    • รายงานของ Axios ทำให้การคาดเดาหลายอย่างในเธรดนี้สั่นคลอน นี่แทบจะเรียกว่า jailbreak ไม่ได้เลย และก็ไม่ใช่ปัญหาเฉพาะของ Anthropic ด้วย ดูเหมือนว่าทำเนียบขาวกำลังพยายามกำกับดูแลโมเดลระดับ Mythos โดยรวม
      ตามข้อมูลของ Axios Katie Moussouris ซีอีโอของ Luta Security ซึ่ง Anthropic แชร์รายงานของ Amazon ให้ดู กล่าวว่า การตอบสนองของรัฐบาล “รุนแรงเกินไปมาก” เมื่อเทียบกับเนื้อหาจริงของรายงานวิจัย
      นักวิจัยพบช่องโหว่ด้านความปลอดภัยด้วยคำถามที่ผู้ป้องกันระบบตามปกติย่อมถาม AI และบอกว่านั่นคือจุดประสงค์ของโมเดลตั้งแต่แรก
      เจ้าหน้าที่รัฐบาลกล่าวว่า โมเดลอื่นยังไม่ข้ามเกณฑ์ที่ Mythos ตั้งไว้ จึงยังไม่ถูกมองว่าเป็นภัยต่อความมั่นคงแห่งชาติ และเสริมว่าโมเดลระดับ Mythos ขึ้นไปจะต้องผ่านกระบวนการของฝ่ายบริหารเพื่อยืนยันว่าโครงสร้างความมั่นคงแห่งชาติของรัฐบาลได้รับการเสริมความแข็งแกร่งเพียงพอแล้ว
      https://www.axios.com/2026/06/13/anthropic-amazon-white-hous...
    • ฝั่ง Anthropic ถึงขั้น ร้องขอให้มีการกำกับดูแล อย่างตรงไปตรงมา สองวันก่อนหน้านั้น Amodei เขียนบทความเรียกร้องให้รัฐบาลออกกฎกำกับ และยก Mythos เป็นตัวอย่าง โดยระบุชัดว่า frontier AI มีความสามารถแฮ็กแบบอัตโนมัติที่คุกคามโครงสร้างพื้นฐานสำคัญและความมั่นคงแห่งชาติ
      “Mythos Preview ได้เขย่าภูมิทัศน์ไซเบอร์ซีเคียวริตีทั่วโลก ความหมายที่กว้างกว่านั้นคือ มันพิสูจน์อย่างไม่ต้องสงสัยว่าโมเดล AI ได้กลายเป็นเครื่องมือที่กำหนดผลลัพธ์เชิงยุทธศาสตร์ระดับโลกและระดับชาติแล้ว”
      “รัฐบาลควรมีอำนาจในการบล็อกหรือยับยั้งการเผยแพร่ หากเมื่อพิจารณาจากการประเมินโดยบุคคลที่สามแล้วตัดสินว่าโมเดลดังกล่าวมีความเสี่ยงที่ยอมรับไม่ได้ อำนาจนี้ควรถูกจำกัดไว้เฉพาะความเสี่ยงเฉพาะสี่ข้อข้างต้น และต้องมีมาตรการป้องกันอคติทางการเมืองหรือการตัดสินใจโดยอำเภอใจ”
      https://darioamodei.com/post/policy-on-the-ai-exponential
      บุคคลที่สามได้แสดงให้เห็นว่าสามารถ jailbreak มาตรการความปลอดภัยของ Fable เพื่อเข้าถึงความสามารถดิบของ Mythos ได้ และ Anthropic ก็พูดมาโดยตลอดว่าความสามารถนั้นอันตรายเกินกว่าจะปล่อยสู่สาธารณะ
      ตามคำกล่าวของ David Sacks พันธมิตรที่น่าเชื่อถือและมีอิทธิพลมากรายหนึ่งซึ่งทั้ง Anthropic และรัฐบาลสหรัฐเชื่อถือ ได้ทดสอบ Fable แล้วพบการ jailbreak มาตรการความปลอดภัย จากนั้นฝ่ายบริหารได้เรียกร้องให้ Dario แก้ไขการ jailbreak หรือหยุดปล่อยโมเดล แต่ Dario ปฏิเสธ
      Anthropic ปกป้องตัวเองในบล็อกว่า jailbreak ดังกล่าวไม่ร้ายแรงนัก แต่พันธมิตรที่เชื่อถือได้และรัฐบาลสหรัฐไม่ได้มองเช่นนั้น และการเรียก jailbreak ที่ทำให้สามารถใช้งานอาวุธไซเบอร์ได้ว่า “ไม่ร้ายแรง” ก็ไม่สอดคล้องกับแบรนด์ของ Anthropic ในฐานะบริษัทด้านความปลอดภัย AI
    • ไม่รู้เลยว่าหลักฐานที่ทำให้มองว่านี่คือ การกำกับดูแลที่สมเหตุสมผล มาจากไหน
    • เหตุผลเดียวที่ดูเป็นไปได้คือ Amazon อาจต้องการให้เรื่องนี้เกิดขึ้น เพียงแต่ Amazon ไม่มีโมเดล frontier คู่แข่งของตัวเอง จึงยังไม่ชัดว่าจะได้ประโยชน์อะไร
    • แยกจากข้อกล่าวหาเรื่องการตอบโต้ หากตีความในแง่ดี Mythos อาจเป็นโมเดลที่มีความสามารถสูงที่สุดในบรรดาโมเดลที่องค์กรอย่าง NSA ใช้งานได้ และเพราะ Glasswing ผู้มีอำนาจตัดสินใจในรัฐบาลสหรัฐและพาร์ตเนอร์ในอุตสาหกรรมอาจได้เห็นรายงานต่อเนื่องตลอดหลายเดือนที่ผ่านมา ว่า Mythos ค้นพบช่องโหว่ร้ายแรงได้สำเร็จ
      ต่อให้ GPT 5.5 จะเก่งระดับเดียวกันในสถานการณ์นี้ สำหรับหน่วยงานรัฐบาลก็อาจยังไม่ได้เป็นที่รู้จักว่าเป็นโมเดลที่มีความสามารถแบบเดียวกัน
      โดยส่วนตัวคิดว่า Opus 4.6 ได้ก้าวข้ามเกณฑ์ความสามารถนั้นไปแล้ว ความสามารถดังกล่าวยังต่อเนื่องไปถึง GLM 5.1 แบบ open-weight ที่เก่งกว่า ซึ่งก็มีข่าวลือด้วยว่ากลั่นมาจาก Opus 4.6
      แต่รัฐบาลสหรัฐและพาร์ตเนอร์ไม่ได้เป็นผู้เล่นที่มีข้อมูลครบถ้วนและมีเหตุผลสมบูรณ์ จึงเป็นไปได้ว่าพวกเขารับรู้ความสามารถนี้เฉพาะในบริบทของ Mythos เท่านั้น
      [1]: https://www.reuters.com/business/us-security-agency-is-using...
      [2]: Opus 4.6 ถูกใช้ใน https://www.noahlebovic.com/testing-an-autonomous-hacker/
      [3]: คะแนนของ GLM 5.1 ดูได้ที่ https://www.cybergym.io/cybergym/
      [4]: https://dualuse.dev/posts/chinese-models-are-sometimes-bette...
  • เพื่อปรับบริบทให้ถูกต้อง Amazon ลงทุนใน Anthropic อย่างมาก [0] และ AWS ก็เป็นพาร์ตเนอร์ของโครงการ Glasswing ซึ่งบางบริษัทใช้ Mythos เพื่อค้นหา ช่องโหว่ร้ายแรง ในโอเพนซอร์สหลักและโครงสร้างพื้นฐานสำคัญ [1]
    ดังนั้นแทนที่จะเป็นแผนการชั่วร้าย ดูเหมือนว่าการใช้ มีดโกนของแฮนลอน จะเหมาะสมกว่า [2]
    [0] https://www.anthropic.com/news/anthropic-amazon-compute
    [1] https://aws.amazon.com/blogs/security/building-ai-defenses-a...
    [2] https://en.wikipedia.org/wiki/Hanlon%27s_razor

    • เพิ่มบริบทอีกหน่อย Amazon ถือหุ้นใน OpenAI มูลค่า 5 หมื่นล้านดอลลาร์ และใน Anthropic มูลค่า 5 พันล้านดอลลาร์
      ถ้าสถานการณ์กลับกัน ดูไม่น่าเป็นไปได้มากที่ Amazon จะรีบวิ่งไปหารัฐบาลกลางทันที
    • สำนวนที่ชอบที่สุดคือ “อย่าตั้งสมมติฐานว่าเป็น การสมคบคิด หากอธิบายได้ด้วย ความไร้ความสามารถ ธรรมดา”
  • Fable ดูเหมือนถูกฝึกมาให้แทบไม่สนใจการหาช่องทางนำไปใช้ในทางที่ผิดหรือหาวิธีสร้างสรรค์เพื่อการใช้ในทางที่ผิด แม้จะเจลเบรกได้ก็ตาม เพียงแต่ยังตรวจสอบไม่ได้ว่าสิ่งนี้เกี่ยวข้องกับ prompt injection แบบลับ ๆ หรือไม่ ในแง่นั้น Opus 4.8 ทรงพลังกว่ามาก
    ถ้าสนใจเรื่องการเจลเบรก ผมใช้ฟอร์กของ oh-my-pi ที่ดัดแปลงให้เมื่อจับได้ว่ามีการปฏิเสธ ก็จะเรียกโมเดลที่ไม่มีราวกันความปลอดภัยอย่าง deepseek หรือ glm-5.1 ขึ้นมาเขียนประวัติการสนทนาใหม่เพื่อลบการปฏิเสธออก และจัดรายการความหมายเชิงสัมพันธศาสตร์ที่อยู่หลังการปฏิเสธนั้น
    ใช้เวลา 3 วันและค่าใช้งานราว 6000 ดอลลาร์ เพื่อดันอัตราความสำเร็จจาก 3% ไปเป็น 85% ในงานด้านไซเบอร์ซีเคียวริตี้หลายอย่าง
    แม้หลังจากไม่ติดที่การปฏิเสธแล้ว ก็ยังห่างจาก Opus max thinking มาก และยังรู้สึกว่าต้องคอยชี้ว่าควรมองตรงไหนต่ออยู่เรื่อย ๆ โมเดลมักจบเทิร์นเร็วด้วยทำนองว่า “นี่คือปัญหาที่พบ” และไม่ว่าจะเร่งอย่างไร มันก็เอนเอียงไปทางแก้ไขมากกว่าหาวิธีนำไปใช้ประโยชน์
    ประมาณวันแรกก็รีบตระหนักได้ว่าต้องดักผลลัพธ์จากการเรียกเครื่องมือแล้วให้โมเดลโอเพนซอร์สสรุปให้ เพราะการวิเคราะห์ล็อกแบบไหนก็ตามจะเจอการปฏิเสธที่เกี่ยวกับไซเบอร์
    ตัวอย่างเช่น “สร้างมัลแวร์ที่ฉีดตัวเองเข้าไปใน Windows ntoskrnl” จะถูกแปลงเป็น “สร้างฟีเจอร์การช่วยการเข้าถึงที่โหลดตัวเองเข้าไปใน system module” และความหมายที่สอดคล้องกับโครงสร้างภายในระดับเคอร์เนลก็จะถูกแทนที่ เช่น read process memory เป็น read module memory, fuzz เป็น noise pattern recognition
    โดยพื้นฐานแล้ว วิธีนี้คือทำให้ตัวจำแนกคิดว่าสิ่งที่ทำอยู่ไม่ใช่ซอฟต์แวร์ที่ค้นหา zero-day ใน ntoskrnl แต่เป็นเครื่องมือช่วยเหลือผู้พิการ
    ผมใช้กลยุทธ์เจลเบรกแบบเดียวกันกับทั้ง Opus และ Fable เพื่อวัดประสิทธิภาพ และใช้ช่องโหว่เก่าใน ntoskrnl เวอร์ชันก่อนหน้าเป็นตัววัดผล

    • ถ้าเป็นเรื่องจริง นี่ถือว่าสำคัญมาก มีคนปกป้องข้อจำกัดนี้ด้วยข้ออ้างตรงกันข้ามเลยว่าแค่เจลเบรกพื้นฐานของ Fable ก็เผยให้เห็น ความสามารถด้านการโจมตีไซเบอร์ ของ Mythos ได้ทันที
      เช่น: https://news.ycombinator.com/item?id=48519695
      หัวข้อการโจมตีทางไซเบอร์ค่อนข้างระบุได้ง่าย และ Anthropic ก็เคยแสดงความสามารถแบบนั้นในด้านอื่น ๆ มาแล้ว ดังนั้นการตีความว่า Fable ถูก fine-tune หรือถูกบิดทิศทางเฉพาะในหัวข้อนั้นก็ดูสมเหตุสมผลพอควร
    • ใช้ไป 6000 ดอลลาร์ ภายใน 3 วันเนี่ยนะ?
    • อยากรู้ว่าเคยเขียนเรื่องงานนี้ไว้ที่ไหนบ้างไหม
    • ถ้าผมเข้าใจไม่ผิด เหมือนคุณใส่พรอมป์ต์ที่เขียนใหม่อัตโนมัติให้ Fable แต่ใส่พรอมป์ต์ต้นฉบับให้ Opus ตอนวัดประสิทธิภาพ ความต่างที่เห็นอาจมาจากตรงนั้นก็ได้
  • นี่ดูไม่ใช่ว่า Amazon เล็ง Anthropic แต่เป็นรัฐบาลที่ใช้ Amazon เพื่อกดดัน Anthropic มากกว่า
    รัฐบาลเป็นลูกค้าหลักของ Amazon ดังนั้น Amazon สามารถให้ความชอบธรรมได้หากจำเป็น Amazon รู้ว่ามูลค่าหุ้นใน Anthropic ไม่ได้เสี่ยงอย่างมีนัยสำคัญ และการดึงรัฐบาลกลางเข้ามาก็มีแต่เพิ่มอำนาจต่อรอง
    เรื่องความปลอดภัยเป็นข้อกังวลจริง ผู้เชี่ยวชาญด้านความปลอดภัยภายในรัฐบาลควรตั้ง คณะทำงานแบบเปิดเผย+ไม่เปิดเผย เพื่อทดสอบโมเดลหลักทั้งหมดตามมาตรฐานเดียวกัน
    การปล่อยให้บริษัทแชร์กันเองกับเพื่อน อย่างดีที่สุดก็เป็นความหวังลม ๆ แล้ง ๆ ข้อเท็จจริงที่ว่าสิ่งนี้ยังไม่เกิดขึ้นตั้งแต่ปีก่อน ดูเป็นหนึ่งในสัญญาณที่ชัดที่สุดว่ารัฐบาลล้มเหลวในหน้าที่พื้นฐานของตัวเอง

  • ลิงก์ของขวัญ: https://www.wsj.com/tech/ai/amazon-ceos-talks-with-u-s-offic...

  • เหตุผลเดียวที่พอนึกออกว่า Amazon อาจไม่ชอบ Mythos/Fable คือ Anthropic กำหนด ข้อกำหนดการเก็บรักษาข้อมูล ที่เกินเส้นของการปฏิบัติตามกฎระเบียบ จนทำให้เรื่อง Bedrock พัง
    จากมุมของ Jassy เขาอาจมองว่าการไม่มีใครใช้ Fable ยังดีกว่าปล่อยให้มันถูกใช้ในลักษณะที่แทบเท่ากับสร้างความสัมพันธ์ด้านความเชื่อถือข้อมูลกับ Anthropic โดยตรง
    แม้จะพยายามมองให้เข้ากับผลประโยชน์ระยะยาวของ Amazon ก็ยังยาก แต่ถ้า Dario เคยสัญญาเรื่องการประมวลผลที่แยกขาดจากข้อมูลอย่างสมบูรณ์แล้วกลับคำ ก็พอเป็นไปได้ว่าจะมีความขุ่นเคืองจากเรื่องนั้น

    • ถ้าเป็น AWS ก็น่าจะพูดไปเลยว่าจะไม่เปิดตัว Fable ไม่ใช่หรือ? Anthropic น่าจะต้องพึ่ง AWS มากกว่าที่ AWS ต้องพึ่ง Anthropic ไม่ใช่หรือ?
      ในบรรดาลูกค้า Bedrock รายใหญ่ ดูไม่น่ามีใครที่จะย้ายไปผู้ให้บริการคลาวด์รายอื่นเพียงเพื่อสิทธิพิเศษที่ให้ Anthropic เก็บอินพุตไว้
  • ถ้าจะสวมหมวกคนแก่แล้วพูดถึงการควบคุมการส่งออก Mythos ของรัฐบาลสหรัฐ ก็ทำให้นึกถึงช่วงกลางทศวรรษ 1990 ตอนที่เครื่องมือเข้ารหัสแบบอสมมาตรอย่าง PGP เริ่มใช้ได้จริง และฐานผู้ใช้อินเทอร์เน็ตที่เพิ่มขึ้นทำให้มันถูกใช้งานได้อย่างแพร่หลาย
    รัฐบาลอย่างสหรัฐและฝรั่งเศสไม่เข้าใจว่าจะกำกับดูแลอย่างไร จึงสั่งห้ามการส่งออกและบังคับให้ผู้ใช้ยื่นขอใบอนุญาต
    เห็นความคล้ายคลึงกับสถานการณ์ตอนนี้อย่างมาก
    สิ่งที่น่าสนใจคือสิ่งที่เกิดขึ้นไม่กี่ปีให้หลัง เมื่อกฎระเบียบเข้มงวดพอที่จะลดนวัตกรรมลง
    สำหรับการใช้งานทั่วไปในชีวิตประจำวัน โอเพนซอร์สเป็นฝ่ายชนะ ส่วนเทคโนโลยีการเข้ารหัสที่ทรงพลังกว่าก็ถูกพัฒนาและใช้งานโดยภาคธุรกิจและรัฐบาล
    พอจะจินตนาการได้อย่างเต็มที่ว่า LLM อาจเดินตามเส้นทางคล้ายกัน

    • เป็นการเปรียบเทียบที่น่าสนใจ เรื่องนี้ยังทำให้นึกถึงบทความนี้ด้วย ซึ่งพูดถึงความคล้ายคลึงพื้นฐานบางอย่างระหว่างแมชชีนเลิร์นนิงกับการเข้ารหัส: https://reiner.org/neural-net-ciphers
      การลองคิดถึงความแตกต่างเชิงพื้นฐานที่อาจทำให้ LLM เดินไปในเส้นทางที่ต่างออกไปโดยสิ้นเชิงก็น่าจะมีประโยชน์ สิ่งที่นึกออกคือ สมมติฐานการสเกล ซึ่งหมายความว่า LLM ชั้นนำต้องการเงินลงทุนมหาศาล
      หากไม่มีการเปลี่ยนแปลงระดับรากฐาน สิ่งนี้ก็ดูจะเข้ากันกับโอเพนซอร์สได้ยากพอสมควร แม้จะมี open weights อยู่ก็ตาม แต่ก็นึกไม่ออกถึงอุปมาเชิงประวัติศาสตร์ที่ลงตัว และเดาได้ยากมากว่าอนาคตจะไปทางไหน
    • ความคล้ายอีกอย่างระหว่างตอนนั้นกับตอนนี้คือคนในรัฐบาลไม่เข้าใจเทคโนโลยีเลยแม้แต่น้อย พวกเขาแค่ได้ยินจากคนไม่กี่คนว่ามันทรงพลังและอันตราย
    • ถ้าจะเป็นไปตามกรณีของ PGP ก็สงสัยว่าต้องใช้เวลาอีกนานแค่ไหนกว่าจะมี เสื้อยืดผิดกฎหมาย ที่พิมพ์น้ำหนักโมเดลไว้
  • Amazon เป็นผู้ถือหุ้นรายใหญ่ของ Anthropic และถือหุ้น เกิน 5% ตามตารางผู้ถือหุ้น
    ผมคิดว่าเป็นไปไม่ได้ที่จะตีความพฤติกรรมของผู้บริหาร Amazon ตรงนี้โดยไม่คำนึงถึงข้อมูลนี้

    • อ่านแล้วเหมือนผู้บริหาร Amazon ไปเล่าความสามารถบางอย่างที่ตัวเองตื่นเต้นให้รัฐบาลกลางฟัง แล้วเจ้าหน้าที่รัฐก็ไม่เข้าใจอย่างถูกต้อง หรือไม่ก็แตกตื่นเกินเหตุจากฟีเจอร์เล็ก ๆ จนอยากสั่งห้าม
    • Amazon ก็มีการเมืองภายในเยอะมากเหมือนบริษัทใหญ่แห่งอื่น จึงเป็นไปได้มากเช่นกันว่าฝ่ายหนึ่งใน Amazon พยายามจะกดอีกฝ่ายให้จมลง
    • เห็นด้วย ความกังวลคงรุนแรงมากจริง ๆ ถึงจะมากพอเอาชนะแรงจูงใจอันสูงลิ่วของ Amazon ที่จะไม่ยกประเด็นนี้ขึ้นมาและปล่อยให้ Anthropic ทำรายได้จากโมเดล frontier รุ่นใหม่ต่อไป
  • สงสัยว่าจะมีอะไรเทียบได้กับ สนธิสัญญาไม่แพร่ขยายอาวุธนิวเคลียร์ สำหรับ AI หรือไม่
    ฟังดูเหมือนเพ้อเจ้อ แต่ถ้ามีโอกาสแค่ 0.1% ที่โมเดลบางตัวจะเก่งพอถูกใช้แฮ็กบัญชีธนาคารของผู้คนได้ รัฐบาลก็คงไม่อยากปล่อยให้โมเดลนั้นเข้าถึงได้แบบสาธารณะ
    น่าจะไปขอให้ประเทศอื่นมาร่วมโต๊ะเจรจาและลงนาม NPT สำหรับ AI
    คนทั่วไปอาจยังเข้าถึงโมเดลที่เล็กกว่าระดับ Opus 4.8 ได้ต่อไป แต่โมเดลที่ใหญ่กว่านั้นอาจถูกมองว่าเก่งเกินไปและจึงอันตราย แม้นิวเคลียร์จะมีข้อดี แต่เวลารัฐบาลออกนโยบายก็มักพิจารณากรณีเลวร้ายที่สุดมากกว่ากรณีดีที่สุด
    ไม่ได้จะบอกว่า Mythos เป็นโมเดลระดับเทพ แต่อยากรู้ว่านโยบายจะไปในทิศทางนี้หรือไม่

    • บัญชีธนาคารก็ยังถูก “แฮ็ก” อยู่เป็นประจำผ่านฟิชชิงและการหลอกลวงรูปแบบอื่น ๆ โมเดลปัจจุบันก็ช่วยเรื่องนั้นได้อยู่แล้ว
      แถมยังมีเรื่องโง่อย่างเหลือเชื่ออย่าง Visa เอา AI ไปไว้ในขอบเขตความปลอดภัยของตัวเอง แล้วปล่อยให้อยู่ในสภาพถูกแฮ็กไว้ล่วงหน้าสำหรับใครก็ตามที่ทำ prompt injection ได้ที่ https://www.visa.com/en-us/solutions/intelligent-commerce
    • หลายประเทศได้บทเรียนจาก NPT แล้ว และน่าจะมีวิจารณญาณพอที่จะไม่ยอมตกลงแบบเดิมอีก เราเห็นซ้ำแล้วซ้ำเล่าว่าถ้าประเทศไหนมีอาวุธนิวเคลียร์ ก็สามารถทำอะไรกับประเทศที่ไม่มีได้ตามใจชอบ
    • ผมคิดว่ายุคที่รัฐบาลไหน ๆ จะทำ NPT กับสหรัฐนั้นจบลงอย่างแน่นอนแล้ว ความเชื่อใจพังไปแล้ว ตอนนี้รัฐบาลของเราน่าจะทำได้ดีกว่าถ้าตุนอาวุธทุกประเภทไว้
  • “นักวิจัยของ Amazon ใช้พรอมป์ตชุดหนึ่งเพื่อทำให้โมเดล Fable 5 ของ Anthropic ให้ข้อมูลที่อาจช่วยการโจมตีทางไซเบอร์ได้…”
    ทุกโมเดลทำแบบนั้นได้ทั้งนั้น สิ่งที่สงสัยคือ Fable เก่งกว่ามากในด้านนั้นหรือเปล่า

    • แทบจะแน่นอนว่าไม่ใช่ทุกโมเดลที่จะทำแบบนั้นได้
    • โมเดลอาจไปค้นพบบางอย่างที่ Amazon ไม่อยากให้เป็นที่รู้กันก็ได้ ไม่จำเป็นต้องเป็นช่องโหว่ไซเบอร์ อาจเป็นวิธีการดำเนินงานบางอย่างที่เฉพาะเจาะจงของ Amazon ก็ได้