นำโมเดล OpenAI เข้าสู่ Amazon Bedrock: บทสัมภาษณ์ CEO ของ OpenAI และ AWS

• โมเดล frontier ของ OpenAI จะเข้ามาอยู่ใน รันไทม์เอเจนต์แบบเนทีฟของ AWS บน Amazon Bedrock ไม่ใช่แค่การให้บริการโมเดล แต่เป็นการผสานในรูปแบบ managed agent สำหรับองค์กร
• Bedrock Managed Agents รวม identity, permissions, logging, governance และ deployment ไว้ด้วยกัน ทำให้องค์กรสามารถนำเอเจนต์ไปใช้งานได้เร็วขึ้นโดยไม่ต้องประกอบส่วนต่าง ๆ เอง
• ตอนนี้ประสิทธิภาพของเอเจนต์ไม่ได้ขึ้นกับ ตัวโมเดล อย่างเดียว แต่ขึ้นกับ ระดับการผสานกับ harness ที่รวม tools, state, memory, permissions และ evals ด้วย โดย AWS และ OpenAI กำลังทำส่วนผสานนี้เป็นผลิตภัณฑ์ร่วมกัน
• ข้อมูลของลูกค้าจะยังคงอยู่ ภายใน AWS VPC และโมเดล OpenAI จะรันผ่าน Bedrock โดยช่องทางซัพพอร์ตหลักจะเป็น ฝั่ง AWS
• เช่นเดียวกับคลาวด์ยุคแรกที่ช่วยให้สตาร์ทอัปเริ่มต้นได้ง่ายขึ้น ความร่วมมือครั้งนี้ก็กำลังช่วย ลดอุปสรรคในการนำ AI มาใช้ และสะท้อนความพยายามจะสร้างชั้นแพลตฟอร์มใหม่รองรับความต้องการ frontier ที่เติบโตอย่างรวดเร็ว

---

AWS, สตาร์ทอัป และความเร็วในการนำ AI มาใช้

• โมเดลคลาวด์ยุคแรกของ AWS ทำให้โครงสร้างพื้นฐานที่เคยมีได้เฉพาะองค์กรขนาดใหญ่ กลายเป็นสิ่งที่ใช้ได้ด้วยเงินไม่กี่ดอลลาร์และบัตรเครดิต พร้อมเปิดพื้นที่การสร้างสรรค์บนอินเทอร์เน็ตอย่างมาก เพราะนักพัฒนาไม่จำเป็นต้องกำหนดล่วงหน้าว่าจะสร้างอะไร
• ผลกระทบจากการนำ AI มาใช้ ก็ถูกมองว่าคล้ายกันหรืออาจใหญ่กว่านั้น
  • โครงสร้างที่ต้องเรียนเขียนโค้ด 10 ปีก่อนถึงจะสร้างแอปพลิเคชันได้กำลังอ่อนแรงลง
  • แม้ไม่มีทีมหลักร้อยคนหรือรอบพัฒนาที่ยาวนาน ทีมขนาดเล็ก ก็สามารถสร้างและปรับปรุงซ้ำได้อย่างรวดเร็ว
  • มันกำลังเป็นเครื่องมือที่เปิดนวัตกรรมใหม่ในหลายพื้นที่ทั่วโลก
• ต่างจากคลาวด์ช่วงแรก ความเร็วในการยอมรับ AI เกิดขึ้นอย่างรวดเร็วมาก
  • ในปี 2006 คลาวด์ยังต้องอธิบายยาวว่า "ทำไมบริษัทขายหนังสือถึงมาทำคอมพิวติ้ง" แต่ AI เป็นสิ่งที่ผู้คนเข้าใจได้เร็วกว่ามาก
  • ช่วงเปลี่ยนจากแชตบอตอัจฉริยะแบบทั่วไปไปสู่ การทำงานภายในองค์กรจริง ยังต้องอาศัยการให้ความรู้ แต่ถ้าวัดจากความเร็วของการเปลี่ยนแปลงทางเทคโนโลยี ก็ถือว่าเกิดขึ้นค่อนข้างเร็ว
• การเปลี่ยนแพลตฟอร์มของสตาร์ทอัปสรุปได้เป็น 4 รอบคือ Internet, cloud, mobile, AI
  • ในยุคแรกของ YC การมีคลาวด์อย่าง AWS ทำให้เริ่มบริษัทได้ด้วยเงินทุนน้อยลงมาก
  • อุปสรรคอย่างการเช่า colo space ประกอบเซิร์ฟเวอร์เอง และต้องหาเงินก้อนใหญ่ก่อนเริ่ม ลดลงอย่างมาก
  • สมมติฐานที่ว่าค่าเซิร์ฟเวอร์อย่างเดียวต้องใช้เงินหลายหมื่นดอลลาร์ถูกทำลายลง เปิดทางให้ โครงสร้างการเริ่มธุรกิจด้วยทุนน้อย
• สตาร์ทอัปมักชนะบริษัทใหญ่ได้ง่ายกว่าในช่วง การเปลี่ยนแพลตฟอร์มขนาดใหญ่ เมื่อสามารถเคลื่อนที่ด้วยรอบที่สั้นกว่าและใช้ทุนน้อยกว่า
  • ตอนนี้บนคลื่น AI ก็เริ่มเห็นทิศทางคล้ายกัน
  • ภายใน YC เอง ความคาดหวังด้านรายได้ของบริษัทที่ดีเปลี่ยนไปได้แม้แต่ระหว่างต้นกับท้าย batch สะท้อนว่า ความเร็วในการเติบโตของรายได้ เร็วกว่ายุคก่อนมาก
• AWS ยังถูกมองว่าเป็นคลาวด์ที่สตาร์ทอัปจำนวนมากในช่วงขยายตัวยังคงใช้งาน
  • จุดแข็งมาจาก scale, availability, security, reliability รวมถึง ecosystem ของพาร์ตเนอร์ ISV และฐานลูกค้าที่อยู่ภายใน AWS
  • ไม่ได้ให้แค่เครดิต แต่ยังให้คำแนะนำด้านสถาปัตยกรรมระบบและ go-to-market โดยยังมองสตาร์ทอัปเป็นฐานสำคัญของ AWS
  • ทุกไตรมาสยังพบสตาร์ทอัปโดยตรงเพื่อตรวจสอบว่าผลิตภัณฑ์ตอบโจทย์จริงหรือไม่
• ในโลกสตาร์ทอัปปัจจุบัน รูปแบบที่พบได้บ่อยมากคือใช้ AWS สำหรับ compute ทั่วไป และใช้ OpenAI API สำหรับ AI ควบคู่กัน

Bedrock Managed Agents และทิศทางของผลิตภัณฑ์ร่วม

• Bedrock Managed Agents ไม่ใช่แค่การนำโมเดล OpenAI เข้ามาอยู่บน AWS แต่เป็นการใส่โมเดล frontier ของ OpenAI เข้าไปใน รันไทม์เอเจนต์แบบเนทีฟของ AWS
  • องค์ประกอบด้านปฏิบัติการอย่าง identity, permission state, logging, governance และ deployment จะถูกรวมเข้าด้วยกัน
• AI ระยะถัดไปกำลังขยับจากการใส่ข้อความแล้วรับข้อความตอบกลับ ไปสู่ stateful agent ที่ทำงานจริงภายในบริษัท
  • คำว่า "virtual co-workers" อาจไม่สมบูรณ์นัก แต่ถือเป็นคำเรียกที่ฝืนน้อยที่สุดในตอนนี้
  • ทั้งอุตสาหกรรมยังไม่ได้ตกลงกันชัดเจนว่าจะเรียกสิ่งนี้ว่าอะไรและใช้อย่างไร
• Codex ถูกยกเป็นตัวอย่างที่ชัดของแนวโน้มนี้
  • สิ่งสำคัญคือถ้างานที่ต้องการเกิดขึ้นได้จริง ผู้ใช้ก็จะไม่แยกแล้วว่าส่วนไหนมาจากโมเดลหรือมาจาก harness มากกว่ากัน
• ระดับการผสานระหว่างโมเดลกับ harness ถูกมองเป็นแกนหลักของประสิทธิภาพเอเจนต์
  • tools, state, memory, permissions และ evals เป็นตัวกำหนดการทำงานจริง
  • แม้จะไม่เหมือน pre-training โดยตรง แต่การผสานเกิดขึ้นทั้งในระดับ post-training และ prompt
  • แม้ tool-calling ช่วงแรกจะดูเป็นสิ่งที่แยกจากกัน แต่เมื่อเวลาผ่านไปก็เริ่มถูกรวมเข้ากับกระบวนการเรียนรู้ลึกขึ้น
  • ต่อไป model กับ harness รวมถึง pre-training กับ post-training ก็อาจยิ่งผสานกันแน่นขึ้นอีก
• ความสุกงอมของอุตสาหกรรมยังถูกเปรียบว่าอยู่ระดับ ยุค Homebrew Computer Club คือยังเริ่มต้นมาก
• งานร่วมกันของ AWS และ OpenAI มุ่งรวมองค์ประกอบที่ลูกค้าเคยต้องประกอบเอง เพื่อให้ ไปถึงคุณค่าในสภาพแวดล้อมองค์กรได้เร็วขึ้น
  • ลูกค้าต้องการให้โมเดลและเอเจนต์ทำงานร่วมกันได้ดีพร้อมความสามารถในการเก็บความจำต่อเนื่อง
  • ต้องการเชื่อมทั้งเครื่องมือภายนอก เครื่องมือภายใน ข้อมูลภายใน แอปพลิเคชันภายใน และสภาพแวดล้อมปฏิบัติการของตนเอง
  • งานบูรณาการเหล่านี้ที่ผ่านมาเป็นภาระที่ลูกค้าแต่ละรายต้องทำเอง
  • ในผลิตภัณฑ์ร่วมจะมี identity ในตัว และออกแบบให้การยืนยันตัวตนกับฐานข้อมูลเกิดขึ้น ภายใน AWS VPC
• เป้าหมายไม่ใช่แค่ความสะดวกขึ้น แต่รวมถึงการทำให้สิ่งที่เดิมประกอบเองอย่างยากลำบากก็ยัง ไม่อาจทำให้เชื่อถือได้ กลายเป็นสิ่งที่เป็นไปได้
• ตอนนี้นักพัฒนาถูกอธิบายว่ายังเผชิญกับ ความเจ็บปวดและงานทำมือมากเกินไป เมื่อต้องสร้างอะไรบางอย่างด้วยโมเดล
  • แม้แต่การใช้ ChatGPT ก็ยังเต็มไปด้วยการคัดลอก-วางและการผสม prompt ที่ซับซ้อน
  • แรงเสียดทานเหล่านี้จะค่อย ๆ หายไป แต่ตอนนี้ยังเป็นช่วงต้นมากและยังไม่สะดวก
• ความร่วมมือครั้งนี้ยังเป็นผลจากการที่ลูกค้าที่อยู่บน AWS อยู่แล้วต้องการ OpenAI technology ขณะเดียวกัน OpenAI ก็ต้องการขยาย การเข้าถึงลูกค้า AWS
• จึงเน้นหนักว่าไม่ใช่แค่การกระจายโมเดล แต่เป็นการ สร้างผลิตภัณฑ์ใหม่ร่วมกัน
  • ในอีก 1 ปีข้างหน้า สิ่งที่อยากให้เด่นชัดกว่าแค่ "เข้าถึงโมเดล OpenAI ผ่าน AWS ได้แล้ว" คือความสำคัญของผลิตภัณฑ์ใหม่นี้
  • ในมิติของ model, harness และ capability มันใกล้เคียงกับ รูปแบบการคอมพิวต์ใหม่ มากกว่าการเรียกใช้ model API แบบเดิม

AgentCore, Managed Agents และโมเดลการปฏิบัติการ

• AgentCore ถูกอธิบายว่าเป็นชุด agent primitives เช่น memory, สภาพแวดล้อมการรันที่ปลอดภัย และการให้สิทธิ์
• Bedrock Managed Agents เป็นผลิตภัณฑ์ระดับบนที่สร้างทับบนองค์ประกอบของ AgentCore โดยผสานโมเดล OpenAI กับองค์ประกอบด้านปฏิบัติการหลายส่วน เป็นงานร่วมที่ AWS และ OpenAI สร้างขึ้น
• แม้มีแค่ AgentCore ก็ยังสามารถสร้าง agentic workflow เองได้
  • มีลูกค้าที่ใช้งานสิ่งนี้ใน production และนำไปใช้จริงแล้ว
• ตอนนี้ก็ยังสามารถใช้ AgentCore ควบคู่กับการ เรียกโมเดล OpenAI ภายนอก ได้
  • แม้จะไม่ใช่การผสานแบบเนทีฟใน Bedrock แต่ก็มีลูกค้าที่เรียกโมเดล OpenAI ซึ่งอยู่บนคลาวด์อื่นโดยตรง
• AWS มองสิ่งนี้เป็น ecosystem แบบเปิด
  • วิธีประกอบความสามารถต่าง ๆ ขึ้นเองยังคงมีอยู่ต่อไป
  • เช่นเดียวกับคนที่อยากประกอบคอมพิวเตอร์เองที่บ้าน ก็ยังจะมี builder ที่อยากสร้างเอเจนต์เองต่อไปอีกนาน
• แต่ลูกค้าจำนวนมากต้องการ วิธีที่ง่ายกว่า โดยไม่จำเป็นต้องตั้งค่าทุกชิ้นเอง และการเปิดตัวความร่วมมือนี้ก็มุ่งตอบความต้องการนั้น
• การใช้ OpenAI บน Azure ถูกจัดว่าเป็นประสบการณ์การเข้าถึง API โดยตรง ขณะที่ประกาศของ Amazon ครั้งนี้ถูกนิยามเป็น managed service ที่ต่างออกไป
• บริการ managed agent นี้ตอนนี้ดำเนินแบบ เอกสิทธิ์กับ Amazon
  • ไม่ใช่แค่ระดับที่ Amazon ใช้ API แต่เป็น joint effort ที่สองบริษัทผลักดันร่วมกัน
• ข้อมูลของลูกค้าจะ ยังคงอยู่ภายใน AWS
  • ทั้งหมดจะอยู่ภายใน VPC และได้รับการปกป้องภายในสภาพแวดล้อมของ Bedrock
• โมเดล OpenAI จะรันผ่าน Bedrock โดยโครงสร้างพื้นฐานใช้ทั้ง Trainium และ GPU ร่วมกัน
  • บางส่วนเป็นเรื่องของจังหวะเวลา บางส่วนเป็นเรื่องของ capabilities
  • มีทิศทางว่าเมื่อเวลาผ่านไป สัดส่วนที่ใช้ Trainium จะเพิ่มขึ้น
  • OpenAI เองก็คาดหวังอย่างมากกับการที่โมเดลของตนจะรันบน Trainium
• เมื่อใช้งานโมเดล OpenAI ในสภาพแวดล้อม AWS ช่องทางซัพพอร์ตลำดับแรก จะเป็น AWS
  • ลูกค้าจะรับความช่วยเหลือผ่าน AWS support และผู้ดูแลบัญชี AWS
  • ระหว่างการนำไปใช้งานก็จะมีบุคลากรฝั่ง OpenAI เข้าร่วมเพื่อช่วยปรับแนวทางการใช้งานร่วมกัน
  • หากมีบั๊กที่ต้องการความช่วยเหลือจาก OpenAI ทาง AWS จะเป็นผู้เอสคาเลตต่อไปยัง OpenAI

Local, cloud, สิทธิ์ และขอบเขตความปลอดภัย

• Codex เริ่มต้นบนคลาวด์ แต่มีแนวทางที่หันกลับไปสู่การรันแบบโลคัลในภายหลัง
• เหตุผลที่โลคัลง่ายกว่าคือ สภาพแวดล้อมอยู่ตรงนั้นอยู่แล้ว
  • การตั้งค่าเครื่อง ข้อมูล และการเข้าถึงไฟล์มีอยู่พร้อม จึงต้องตั้งค่าเพิ่มน้อย
  • แม้จะไม่ใช่ปลายทางสุดท้าย แต่ในระยะสั้น ความสะดวกในการใช้งาน มีน้ำหนักมากกว่า
• ในระยะยาว ทิศทางที่ถูกมองว่ามีประโยชน์คือให้เอเจนต์ รันบนคลาวด์ และในกรณีงานหนักมากหรือเวลาที่ต้องปิดคอมพิวเตอร์ ก็ส่งงานไปให้คลาวด์ทำต่อ
• ไคลเอนต์แบบโลคัลก็ยังมีข้อดี
  • เช่นเดียวกับที่แอป iPhone มีองค์ประกอบแบบโลคัล มันมีข้อได้เปรียบด้าน connectivity, latency, local compute รวมถึงการเข้าถึงไฟล์และแอปพลิเคชัน
  • แต่ตัวโน้ตบุ๊กเองไม่สามารถ scale-out ได้ จึงมี ข้อจำกัดด้านการขยายตัว ชัดเจน
• ในสภาพแวดล้อมองค์กร วิธีโลคัลจะยากขึ้น
  • แค่เริ่มมีการแชร์ระหว่างคนสองคนก็ทำให้ความซับซ้อนเพิ่มขึ้น
  • การจัดการ permissions และ security boundary จะซับซ้อนกว่าเดิม
  • สุดท้ายจึงต้องมี สะพานเชื่อม ระหว่างโลคัลกับคลาวด์
• การพัฒนาเอเจนต์ในสภาพแวดล้อมเดียวกับที่จะ deploy ไปใช้งานจริงเป็นแนวทางที่เป็นธรรมชาติ และการออกแบบ identity กับ permission ยังเป็นพื้นที่ที่ไม่สมบูรณ์มาก
  • เอเจนต์ควรใช้บัญชีของมนุษย์โดยตรงหรือไม่
  • เอเจนต์ควรมีบัญชีแยกของตัวเองหรือไม่
  • ถ้ามีหลายเอเจนต์ จะจำแนกกันอย่างไร
• แม้แต่ primitive อย่าง "เอเจนต์ของ Ben ล็อกอินเป็น Ben แต่ระบุว่าไม่ใช่ Ben ตัวจริง เป็นเอเจนต์" ก็ยังไม่มี
• เมื่อเอเจนต์เริ่มกลายเป็นส่วนหนึ่งของแรงงาน และมี ความเป็นอิสระกับความซับซ้อนของงาน สูงขึ้น โมเดลสิทธิ์เข้าถึงและการควบคุมสิทธิ์ทั้งภายในบริษัทและบนอินเทอร์เน็ตก็ต้องพัฒนาตามไปด้วย
• ยิ่งย้ายไปคลาวด์มากขึ้น องค์กรส่วนกลางก็ยิ่งมี การควบคุมด้านความปลอดภัย ได้มากขึ้น
  • ลูกค้าชอบศักยภาพของโมเดลและเอเจนต์ที่ทรงพลัง แต่สิ่งที่กังวลที่สุดคือเหตุผิดพลาดที่อาจทำลายบริษัทได้
  • สามารถควบคุมขอบเขตได้ด้วยการให้ทำงานภายใน VPC ผ่าน gateway ที่กำหนด หรือให้สิทธิ์ในรูปของ role ภายในสภาพแวดล้อม
  • สิ่งนี้ต่อยอดจากโครงสร้างความปลอดภัยที่ AWS สั่งสมมากว่า 20 ปี จนไม่ใช่แค่สตาร์ทอัป แต่รวมถึงธนาคารระดับโลก องค์กรสุขภาพ และหน่วยงานรัฐก็ใช้งานได้
  • สำหรับองค์กรที่หลีกเลี่ยงความเสี่ยงสูง guardrails ภายใน sandbox กลับยิ่งช่วยขยายการยอมรับ

AI stack และสถาปัตยกรรมสำหรับองค์กร

• ลูกค้าองค์กรต้องการชั้นการจัดการที่เชื่อมข้อมูลกับเอเจนต์ พร้อมทั้งให้ความสามารถด้าน การติดตามการใช้จ่ายโทเค็น และการกำกับดูแล
• ลูกค้าองค์กรขนาดใหญ่มักร้องขออย่างสม่ำเสมอให้มีทั้ง agent runtime environment, ชั้นการจัดการ และ workspace สำหรับพนักงานรวมอยู่ด้วยกัน
  • ตัวอย่างของ workspace สำหรับพนักงานคือรูปแบบแบบ Codex
  • ความต้องการแพ็กเกจลักษณะนี้ค่อนข้างสม่ำเสมอ แต่สิ่งที่จะส่งมอบจริงยังต้องสร้างเพิ่มอีกมาก
• มีความเห็นตรงกันว่าในองค์กรจำเป็นต้องมี middleware / middle layer ที่คร่อมหลายฐานข้อมูล แอป SaaS และข้อมูลที่กระจายอยู่หลายแห่ง
  • ในบริบทนี้มีการอ้างถึง OpenAI Frontier ร่วมด้วย
• ในโครงสร้างปัจจุบัน ดูเหมือนว่าจะต้องมีทั้ง user agent layer สำหรับปฏิสัมพันธ์กับผู้ใช้ และชั้นการจัดการระดับบริษัท
  • ฝั่งผู้ใช้จะเป็นรูปแบบที่มีการโต้ตอบกับหลายเอเจนต์ และสร้างให้เอเจนต์เหล่านั้นคุยกันเองได้
  • ฝั่งการจัดการระดับบริษัทจะให้ความสำคัญกับ control ต่าง ๆ ที่จำเป็นเมื่อ AI ต้องสำรวจสิ่งอย่างระบบไฟล์
• อย่างไรก็ดี หากโมเดลฉลาดขึ้นมากพอ ก็อาจเกิดการ ออกแบบสถาปัตยกรรมใหม่ทั้งหมด ได้
  • โครงสร้างสองชั้นในตอนนี้เป็นรูปแบบที่เหมาะกับโลกปัจจุบัน
  • ยังไม่มีใครรู้แน่ชัดว่าสถาปัตยกรรมในอนาคตจะเป็นอย่างไร
  • อาจมีช่วงหนึ่งที่สรุปได้ว่า "สิ่งนี้ควรอยู่ในโมเดลไปเลย"
  • ระหว่างทางก็จะเรียนรู้จากการที่ลูกค้าลงมือใช้และสร้างจริง ว่าอะไรควรถูกทำให้ใช้ง่ายขึ้น เร็วขึ้น และดีขึ้น

อุปสงค์, capacity และการแบ่งชั้นของโมเดล

• OpenAI ลงทั้ง การซื้อ compute จำนวนมาก และความพยายามอย่างมากกับธุรกิจนี้ พร้อมคาดหวังรายได้ที่สอดคล้องกัน
• ความต้องการด้านความฉลาดถูกมองว่าแทบเป็น อุปสงค์ไร้เพดาน หากราคาลดลงพอ
• ตอนนี้ ข้อจำกัดที่ใหญ่กว่าราคา ดูจะเป็น การขาดแคลน capacity
  • มีลูกค้ามากกว่าที่ต้องการ capacity เพิ่มและยินดีจ่ายเพิ่ม ไม่ว่าราคาจะเป็นเท่าใด มากกว่าลูกค้าที่ต่อรองราคาอย่างเดียว
  • มีความเชื่อมั่นว่าต้นทุนของความฉลาดในระดับปัจจุบันจะ ลดลงอย่างมาก ต่อไป
• ในอุปสงค์รวมของตลาด มีสัดส่วนมากที่ไหลไปหา absolute frontier ซึ่งถูกมองว่าเป็นสัญญาณที่น่าประหลาดใจเกินคาด
  • แทนที่จะพอใจกับโมเดลรุ่นก่อนหน้า ตลาดกลับยังต้องการโมเดลระดับหน้าสุดรุ่นล่าสุดต่อเนื่องมากกว่า
• เช่นเดียวกับที่ต้นทุน compute ลดลงอย่างมากตลอดหลายทศวรรษแต่ยอดขายยังเติบโต AI ก็อาจเดินตาม เส้นทางการขยายตัวของอุปสงค์ คล้ายกัน
• ตอนนี้ หากต้องการทำงานที่มีประโยชน์จริง หลายกรณีก็ยังต้องใช้ โมเดล frontier ทำให้ทุกคนยังต้องการสิ่งนั้น
• เมื่อเวลาผ่านไป คาดว่าจะเกิดโครงสร้างแบบผสมที่มีทั้ง โมเดลเล็ก ราคาถูก เร็ว และโมเดลขนาดใหญ่มากอยู่ร่วมกัน
  • โมเดลขนาดเล็กบางตัวเมื่อเวลาผ่านไปอาจทำงานที่แม้แต่โมเดล OpenAI รุ่นล่าสุดตอนนี้ยังทำไม่ได้
  • ส่วนโมเดลขนาดใหญ่มากอาจมุ่งไปสู่ปัญหาใหญ่ระดับ การรักษามะเร็ง
• ตอนนี้ทุกอย่างยังอยู่ใน ระยะเริ่มต้น และการที่มีทั้งอุปสงค์กับการเติบโตในระดับนี้พร้อมกันยิ่งขยายความเป็นไปได้ในอนาคต

Trainium, abstraction และ compute ภายใน

• เมื่อถูกถามว่า Trainium อาจมีบทบาทด้าน inference มากขึ้นในอนาคตแม้ชื่อจะฟังดูเน้น training ทาง AWS ตอบว่ามันมีประโยชน์ทั้งกับ training และ inference
• มีการเน้นว่าลูกค้าจะเข้าถึง Trainium ผ่าน abstraction ของ managed service มากกว่าจะต้องจัดการมันโดยตรง
  • เช่นเดียวกับที่ลูกค้าส่วนใหญ่ไม่ได้คุยกับ GPU โดยตรง เมื่อใช้ OpenAI หรือ Claude คนส่วนใหญ่จริง ๆ แล้วกำลังโต้ตอบกับ interface ไม่ใช่ GPU, Trainium หรือ TPU
• ต่อไป accelerator chip ก็น่าจะทำงานอยู่เบื้องหลังโมเดลและบริการขนาดใหญ่เพียงไม่กี่ราย
  • อาจมี 5, 10, 20 หรือ 100 ราย แต่ไม่น่าเพิ่มเป็นคนหลายล้านที่ต้องมาเขียนโปรแกรมให้มันโดยตรง
  • การฝึกโมเดลใช้เงินสูงและต้องการความเชี่ยวชาญด้านปฏิบัติการมาก
  • ทีมของ OpenAI มีความสามารถสูงในการดึงคุณค่าจากคลัสเตอร์ compute ขนาดใหญ่ แต่มีไม่กี่แห่งที่มีทีมแบบนั้น
• OpenAI บอกว่าตอนแรกพวกเขามองตัวเองเหมือน token factory แต่ก็แก้คำพูดทันทีว่าใกล้เคียงกับ intelligence factory มากกว่า
  • สิ่งที่ลูกค้าต้องการไม่ใช่จำนวนโทเค็น แต่คือการได้รับหน่วยความฉลาดที่ดีที่สุดในต้นทุนต่ำที่สุด พร้อม capacity ที่เพียงพอ
• GPT-5.5 ถูกยกเป็นตัวอย่างว่า ต้นทุนต่อโทเค็นสูงกว่า 5.4 แต่ใช้โทเค็นน้อยกว่ามากในการได้คำตอบเดียวกัน
  • ผู้ใช้สนใจมากกว่าว่างานที่ต้องการเสร็จหรือไม่ มากกว่าจะนับว่าใช้กี่โทเค็น
• ไม่ว่าจะเป็นโมเดลใหญ่ที่ใช้โทเค็นน้อย โมเดลเล็กที่ใช้โทเค็นมาก หรือจะเป็น GPU หรือ Trainium ลูกค้าต้องการ ประโยชน์สูงในต้นทุนต่ำ มากกว่าสนใจรายละเอียดภายใน
• แม้แต่ตอนสร้างเอเจนต์ใหม่ใน Codex หรือใน Stateful Runtime Environment สำหรับ Amazon Bedrock ผู้ใช้ก็ไม่ควรต้องรับรู้เรื่องการเลือก compute ภายใน
• การลดลงของปริมาณโทเค็นที่ใช้ ส่วนใหญ่เป็นผลจากการปรับปรุงตัวโมเดล โดย harness มีผลเพียงบางส่วน
• เมื่อถูกถามว่า AWS จะขยาย managed service ที่คล้ายกันไปยังโมเดลอื่นหรือไม่ ทางบริษัทตอบเพียงว่าตอนนี้กำลังโฟกัสที่ ความร่วมมือกับ OpenAI

พัฒนาการของตลาดและกลยุทธ์แพลตฟอร์ม

• ChatGPT ถูกประเมินว่าเป็นผลิตภัณฑ์ผู้บริโภคใหม่ขนาดใหญ่ตัวแรกนับตั้งแต่ Facebook
• OpenAI ระบุว่าพวกเขาทำได้ค่อนข้างดีไม่ใช่แค่กับ ChatGPT แต่รวมถึง API และโดยเฉพาะ Codex ด้วย
  • ยังมีการย้อนมองว่าในอดีตจุดโฟกัสอยู่ที่ความเป็นไปได้ที่อินเทอร์เฟซภาษาแบบใหม่จะเปลี่ยนวิธีค้นหาข้อมูลบนอินเทอร์เน็ต
  • ส่วน Google ก็ยังถูกประเมินว่าเป็น phenomenal company ในด้าน breadth และ depth
• AWS สรุปว่าตนเลือก กลยุทธ์แบบยึดพาร์ตเนอร์ตั้งแต่แรก และเชื่อว่าเมื่อพาร์ตเนอร์ประสบความสำเร็จ AWS ก็จะสำเร็จตามไปด้วย
  • ต่างจากแนวทางที่ต้องเป็นเจ้าของทุกอย่างเอง และใกล้กับการ ขยายขนาดพาย มากกว่า
  • ลูกค้าควรเลือกสิ่งที่เหมาะกับตัวเองที่สุดได้ ไม่ว่าจะเป็นผลิตภัณฑ์ของ AWS เองหรือของพาร์ตเนอร์ก็ตาม
• Bedrock ก็ถูกออกแบบภายใต้กลยุทธ์นี้ เพื่อรองรับโมเดลที่หลากหลายและฟังก์ชันที่หลากหลาย
  • ยังสรุปด้วยว่าในด้านฐานข้อมูล แพลตฟอร์ม compute และส่วนอื่น ๆ AWS ก็ใช้แนวทางคล้ายกันมาโดยตลอด
• ในชั้นโครงสร้างพื้นฐาน AWS ยังผลักองค์ประกอบแกนหลักของตัวเองอย่าง S3 อย่างแข็งขัน แต่เมื่อขึ้นไปยังส่วนบนของสแตก การเปิดรับ ecosystem ของพาร์ตเนอร์ที่กว้างขึ้นก็ถูกมองว่าดีกับลูกค้าด้วย
• บทบาทของทั้งสองบริษัทถูกสรุปว่า OpenAI ทำ Software, AWS ทำ Infrastructure และทั้งคู่กำลังร่วมกันสร้าง Platform
• เมื่อคาดว่าความสามารถของโมเดลจะก้าวหน้าอย่างรวดเร็วใน 1 ปีข้างหน้า ช่วงเวลานี้จึงถูกมองว่าเป็น จังหวะที่ดี สำหรับการสร้างแพลตฟอร์มร่วมกันตอนนี้

[GN⁺]

ความคิดเห็นจาก Hacker News

• ในองค์กรที่ฉันทำงานด้วยซึ่ง อ่อนไหวต่อความเป็นส่วนตัว นั้น Claude ได้รับการยอมรับดีกว่ามาก
  เพราะสามารถเข้าถึงผ่าน Amazon ในฐานะคนกลางที่ "เชื่อถือได้" ได้ OpenAI ถูกแบนและไม่ได้รับความไว้วางใจ
  ฉันไม่ได้เห็นด้วยกับการตัดสินของทีมกฎหมายขององค์กรเหล่านี้ไปเสียทั้งหมด แต่ก็น่าจะอ่านเงื่อนไขการให้บริการละเอียดกว่าฉันมาก
  จะเปลี่ยนเกมได้ไหมจากประกาศนี้คงต้องรอดู แต่ตอนนี้จากความรู้สึก OpenAI ดูตามหลังอยู่พอสมควรในหลายด้าน
  อย่างไรก็ดี ในวงการ AI ความต่าง 2~8 สัปดาห์ ก็ไม่ได้ถือว่าห่างกันมหาศาล อาจเป็นปัญหาเรื่องภาพลักษณ์มากกว่าผลกระทบจริง
  อย่างน้อยในฟองข้อมูลของฉัน ชื่อเสียงของ OpenAI ตกต่ำเพราะ Sam Altman และหลายคนไม่ชอบเพราะดูไร้จริยธรรม แถมพอเห็นเรื่องข้อเรียกร้องเกี่ยวกับ fabs ก็ยิ่งดูไม่มั่นคงน่ากังวล
  • ผู้ให้บริการ LLM หลัก สามารถทำสัญญา ZDR ได้แทบทุกเจ้า
    แค่ใช้ AWS อย่างเดียวไม่พอ และถึง AWS จะเป็นคนรันโมเดล ถ้าต้องการ ZDR แบบจริงจังก็ต้องไปตกลงกับฝั่งนั้นแยกต่างหาก [0]
    [0]: https://platform.claude.com/docs/en/build-with-claude/claude...
  • จริงอยู่ว่า Anthropic มีทั้งโมเดลที่ดีที่สุดและผู้นำที่นิ่งกว่า แต่ฉันคิดว่าคนที่ช่วยขยายการเข้าถึงระดับองค์กรอย่างมากก็คือ AWS
    ทั้งสองฝ่ายได้ประโยชน์ชัดเจน และวัฒนธรรม feedback loop ของลูกค้า AWS ก็น่าจะช่วยให้ Anthropic พร้อมรองรับลูกค้าองค์กรได้เร็วขึ้น
  • สงสัยว่านี่ดีกว่า OpenAI on Azure จริงไหม ในแง่เงื่อนไขทางกฎหมาย, SLA, และความกังวลเรื่องข้อมูล
    ฝั่ง Azure มีมาสักพักแล้ว
  • OpenAI ไม่ได้โฟกัสแค่ขาย LLM ตัวเดียว แต่ทำทั้งวิดีโอและการสร้างภาพด้วย
    ส่วน Anthropic โฟกัสกับอย่างเดียว และนั่นคงเป็นเหตุผลที่ทำไมถึงติดอันดับบนสุดใน SWE benchmark อยู่เสมอ
  • ประเด็นสำคัญไม่ใช่แค่ว่า AWS เป็น "คนกลางที่เชื่อถือได้" แต่คือโมเดลถูกรัน ภายในบัญชี AWS ของลูกค้าเอง ภายใต้สัญญาอีกแบบหนึ่ง
    AWS ระบุชัดว่าอินพุตและเอาต์พุตจะไม่ถูกแชร์กับผู้ให้บริการโมเดล และจะไม่ถูกนำไปใช้ฝึกโมเดลพื้นฐานด้วย [1]
    ยิ่งไปกว่านั้น OpenAI ยังถูกคำสั่งเก็บรักษาข้อมูลในคดี NYT v. OpenAI เมื่อเดือนพฤษภาคม 2025 และศาลก็บังคับให้เก็บล็อกเอาต์พุตของ ChatGPT ไว้แทบจะไม่มีกำหนด
    ซึ่งรวมถึงบทสนทนาที่ผู้ใช้ลบไปแล้วและเดิมควรถูกลบภายใน 30 วันด้วย [2]
    เพราะแบบนี้สำหรับองค์กรที่ถูกผูกด้วย HIPAA/GDPR มันแทบไม่ผ่านตั้งแต่จุดเริ่มต้น
    [1] https://aws.amazon.com/bedrock/faqs/
    [2] https://openai.com/index/response-to-nyt-data-demands/
• ในฐานะคนที่ทำงานในบิ๊กเทคและต้องประชุม ไม่รู้จบ แค่จะประสานปล่อยฟีเจอร์เล็กๆ ระหว่างสองทีม ฉันนึกไม่ออกเลยว่าต้องมีประชุมและเอกสาร 6-pager มากแค่ไหนกว่าจะเอาโมเดลพวกนี้ขึ้นฮาร์ดแวร์ Bedrock ได้
  • ถ้าเป็นระดับนี้ หลายครั้งก็แค่ตัดสินใจแล้วตั้ง ทีม SWAT จากนั้นดันงานให้เสร็จภายในไม่กี่สัปดาห์
    ฉันมองว่าการเมืองในองค์กรหรือการรีวิวเชิงราชการ มักจะไปผูกคนระดับล่างไว้กับงานเศษฟีเจอร์และงานปฏิบัติการมากกว่า
  • ขึ้นอยู่กับวิธีการติดตั้ง แต่ Amazon ใส่ gpt-oss-20b ไว้แล้ว
    ถ้าโมเดลนี้คล้ายกับ GPT เวอร์ชัน OSS มากพอ ก็อาจไม่ได้ซับซ้อนอย่างที่คิด
• โมเดลเดียวกันที่รันบน แพลตฟอร์มอนุมาน ต่างกัน ไม่จำเป็นต้องให้ผลลัพธ์เหมือนกัน
  เพราะ quantization, ชิปเสิร์ฟโมเดลแบบคัสตอม, batching และการปรับแต่งอนุมานอื่นๆ พฤติกรรมของเวอร์ชันที่โฮสต์อาจต่างจากเวอร์ชันของผู้ให้บริการต้นทางได้
  งานวิจัยนี้ไม่ตรงกันเสียทีเดียว เพราะพูดถึง Llama แบบ open weight ที่ตรวจสอบได้ แต่ก็แสดงอาการคล้ายกันได้ดี
  https://arxiv.org/pdf/2410.20247
  • ใครที่เคยใช้ gpt-x ผ่านทั้ง OpenAI และ Microsoft น่าจะรู้สึกถึงความต่างนี้ได้ชัดมาก
• ในองค์กรของเราเอง การที่มี Bedrock ให้ใช้ เป็นปัจจัยสำคัญที่ผลักดันการใช้ Anthropic
  ดูแล้วน่าจะทำมาร์จินได้ไม่น้อยด้วย
  ฉันก็สงสัยเหมือนกันว่านี่เชื่อมตรงกับกระแสแยกทางจาก Microsoft หรือไม่
  จากกรณีรอบตัวฉัน ในการดีพลอยระดับองค์กรแบบจริงจัง OpenAI แทบถูกมองข้าม เพราะของที่ให้ผ่าน Azure ไม่ค่อยดี และนอกนั้นก็ไม่มีช่องทางที่เป็นมิตรกับองค์กรมากนัก
  ดูเหมือน OpenAI จะตระหนักแล้วว่าถ้ายังเสียตลาดองค์กรให้คู่ Anthropic กับ AWS ต่อไปจะเป็นเรื่องร้ายแรง เลยเริ่มขยับเพื่อไล่ตาม
  • ค่อนข้างชัดว่า OpenAI มีการ เจรจาสัญญาใหม่ ระหว่างเตรียมเรื่องนี้
    https://news.ycombinator.com/item?id=47921248
  • อยากรู้จริงๆ ว่า ฝั่ง Azure มีปัญหาอะไร
• สิ่งที่น่าสนใจตรงนี้คือเส้นทาง การขายองค์กร
  อุตสาหกรรมที่ถูกกำกับดูแลอย่างการเงินและเฮลธ์แคร์ มักมีสัญญากับ AWS ที่รวมข้อผูกพันเรื่อง data residency ไว้อยู่แล้ว
  OpenAI บน Bedrock ทำให้องค์กรเหล่านี้ไม่ต้องไปเจรจา DPA แยกกับ OpenAI ซึ่งอาจเป็นจุดทะลุที่ใหญ่กว่าที่เห็นจากเอกสารมาก
• นี่เป็นการเปลี่ยนแปลงที่น่ายินดีมากในแง่ compliance
  มี subprocessor น้อยลงหนึ่งราย และข้อมูลก็อยู่ใน AWS อยู่แล้ว จึงกังวลน้อยลงว่าจะถูกส่งออกไปที่อื่น
• ดูเหมือน OpenAI กำลัง ไล่ตาม Anthropic แบบกระชั้นชิด
• ตอนนี้ซื้อ OpenAI ผ่าน AWS ได้แล้ว แต่ก็แปลว่าฉันต้องใช้อินเทอร์เฟซที่ ไม่เข้ากันกับเครื่องมือของฉันโดยสมบูรณ์ อีกชุดหนึ่งด้วย
  เว้นแต่ AWS จะยอมถอยและทำให้ Bedrock ใช้งานได้จริงขึ้นด้วยการเพิ่ม ความเข้ากันได้กับ OpenAI API
  • ฉันเป็น PM ของ Bedrock Mantle และตอนนี้ endpoint ของ bedrock-mantle รองรับ OpenAI API compatibility แล้ว
    รองรับทั้ง Responses และ Chat Completions ดูได้ที่นี่ https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
• ออกมาเร็วกว่าที่คิด
  • ถึงการเตรียมงานจริงอาจใช้เวลานาน แต่กระแส PR ที่สาธารณะเห็นนั้นเหมือนเครื่องจักรที่ประณีตและทำงานลื่นมาก
    แค่โพสต์ HN รอบนี้ก็มีลิงก์ประกาศขึ้นมาพร้อมกันถึง 4 อัน ซึ่งไม่ใช่เรื่องบังเอิญ
    เพราะถ้าคำพูดผิดออกมาในจังหวะผิด เงินลงทุนระดับหลายพันล้านดอลลาร์ก็อาจสั่นคลอนได้ ดังนั้นสารที่สื่อออกไปจึงต้องถูกขัดเกลาอย่างระมัดระวังและปล่อยเป็นลำดับขั้น
• ดูเหมือน OpenAI สุดท้ายจะมุ่งไปทาง dumb pipe