นำโมเดล OpenAI สู่ Amazon Bedrock: บทสัมภาษณ์ CEO ของ OpenAI และ AWS
(stratechery.com)- โมเดล frontier ของ OpenAI เข้ามาอยู่ใน AWS native agent runtime ของ Amazon Bedrock โดยไม่ได้เป็นเพียงการให้บริการโมเดล แต่เป็นการผสานในรูปแบบ managed agent สำหรับองค์กร
- Bedrock Managed Agents รวม identity, permissions, logging, governance และ deployment เข้าไว้ด้วยกัน ทำให้องค์กรรันเอเจนต์ได้เร็วขึ้นโดยไม่ต้องประกอบชิ้นส่วนเหล่านี้เอง
- ปัจจุบันประสิทธิภาพของเอเจนต์ไม่ได้ขึ้นอยู่กับแค่ ตัวโมเดล เท่านั้น แต่ยังขึ้นอยู่มากกับ ระดับการผสานของ harness ที่รวม tools, state, memory, permissions และ evals โดย AWS และ OpenAI กำลังดูแลการผสานนี้ในฐานะผลิตภัณฑ์ร่วม
- ข้อมูลของลูกค้ายังคงอยู่ ภายใน AWS VPC ส่วนโมเดล OpenAI จะรันผ่าน Bedrock และช่องทางซัพพอร์ตจะดำเนินการโดย AWS เป็นหลัก
- เช่นเดียวกับคลาวด์ยุคแรกที่เปิดทางให้สตาร์ทอัพ ความร่วมมือครั้งนี้ก็อยู่บนแนวโน้มของการ ลดอุปสรรคในการนำ AI มาใช้ และยังสะท้อนความพยายามในการยึดตำแหน่งเป็นแพลตฟอร์มชั้นใหม่ ท่ามกลางความต้องการ frontier ที่เติบโตอย่างรวดเร็ว
AWS กับสตาร์ทอัพ และความเร็วในการนำ AI มาใช้
- โมเดลคลาวด์ยุคแรกของ AWS ทำให้โครงสร้างพื้นฐานที่แต่เดิมมีได้เฉพาะองค์กรขนาดใหญ่ กลายเป็นสิ่งที่ใช้งานได้ด้วยเงินไม่กี่ดอลลาร์และบัตรเครดิต พร้อมเปิดพื้นที่การสร้างสรรค์บนอินเทอร์เน็ตอย่างมาก ด้วยแนวทางที่ไม่กำหนดล่วงหน้าว่านักพัฒนาจะต้องสร้างอะไร
- ผลกระทบจากการนำ AI มาใช้ ก็ถูกประเมินว่าใกล้เคียงหรืออาจมากกว่านั้น
- โครงสร้างที่ต้องเรียนเขียนโค้ดนาน 10 ปีจึงจะสร้างแอปพลิเคชันได้ กำลังอ่อนตัวลง
- แม้ไม่มีทีมหลายร้อยคนและระยะเวลาพัฒนาที่ยาวนาน ทีมขนาดเล็ก ก็สามารถสร้างสิ่งต่าง ๆ ได้อย่างรวดเร็วและปรับปรุงซ้ำได้ต่อเนื่อง
- AI กำลังทำหน้าที่เป็นเครื่องมือเปิดนวัตกรรมใหม่ในหลายพื้นที่ทั่วโลก
- ต่างจากช่วงเริ่มต้นของคลาวด์ ความเร็วในการยอมรับ AI กำลังเกิดขึ้นอย่างรวดเร็วมาก
- ในปี 2006 คลาวด์ยังต้องอธิบายกันยาวว่า "ทำไมบริษัทขายหนังสือถึงมาให้บริการคอมพิวติ้ง" แต่ผู้คนเข้าใจ AI ได้เร็วกว่ามาก
- การขยับจากแชตบอตอัจฉริยะแบบง่าย ๆ ไปสู่ การทำงานภายในองค์กรจริง นั้นต้องใช้การให้ความรู้บ้าง แต่ถ้าวัดจากความเร็วของการเปลี่ยนแปลงทางเทคโนโลยี ก็ถือว่าเกิดขึ้นค่อนข้างเร็ว
- การเปลี่ยนผ่านแพลตฟอร์มสำหรับสตาร์ทอัพถูกสรุปเป็น 4 ยุค ได้แก่ Internet, cloud, mobile, AI
- ในช่วงแรกของ YC คลาวด์อย่าง AWS เปลี่ยนให้การเริ่มต้นบริษัททำได้ด้วยเงินทุนที่น้อยลงมาก
- อุปสรรคแบบเดิมที่ต้องเช่าพื้นที่ colo ประกอบเซิร์ฟเวอร์เอง และหาเงินก้อนใหญ่ก่อนเริ่มต้น ลดลงอย่างมาก
- สมมติฐานที่ว่าแค่ค่าเซิร์ฟเวอร์ก็ต้องใช้เงินหลายหมื่นดอลลาร์ถูกทำลายลง จนเกิดโครงสร้าง การเริ่มธุรกิจด้วยเงินทุนต่ำ ได้จริง
- สตาร์ทอัพมักเอาชนะบริษัทใหญ่ได้ง่ายขึ้นในช่วง การเปลี่ยนผ่านแพลตฟอร์มครั้งใหญ่ เมื่อพวกเขาเคลื่อนที่ได้ด้วยรอบที่สั้นกว่าและใช้เงินทุนน้อยกว่า
- บนคลื่น AI ตอนนี้ก็เห็นแนวโน้มในทิศทางเดียวกัน
- ภายใน YC เอง ความเร็วของ การเติบโตของรายได้ เร็วกว่าที่ผ่านมาอย่างมาก ถึงขั้นความคาดหวังรายได้ของบริษัทที่ดีเปลี่ยนไปได้แม้แต่ระหว่างต้น batch กับท้าย batch
- AWS ยังถูกมองว่าเป็นคลาวด์ที่สตาร์ทอัพจำนวนมากในช่วงขยายตัวใช้งานอยู่ในปัจจุบัน
- จุดแข็งถูกรวมไว้ที่ scale, availability, security, reliability รวมถึงระบบนิเวศพาร์ตเนอร์ ISV ใน AWS และฐานลูกค้าภายใน AWS
- ไม่ได้ให้แค่เครดิต แต่ยังให้คำแนะนำด้านการออกแบบระบบและ go-to-market พร้อมยังคงมองสตาร์ทอัพเป็นฐานสำคัญของ AWS
- มีการพบสตาร์ทอัพโดยตรงทุกไตรมาสเพื่อตรวจสอบว่าผลิตภัณฑ์ตอบโจทย์การใช้งานจริงหรือไม่
- ในโลกสตาร์ทอัพปัจจุบัน รูปแบบการใช้งานที่พบได้บ่อยมากคือ คอมพิวต์ทั่วไปใช้ AWS และ งาน AI ใช้ OpenAI API ควบคู่กัน
Bedrock Managed Agents และทิศทางของผลิตภัณฑ์ร่วม
- Bedrock Managed Agents ไม่ได้หมายถึงแค่การนำโมเดล OpenAI เข้ามาอยู่บน AWS แต่เป็นการนำโมเดล frontier ของ OpenAI เข้าไปอยู่ใน AWS native agent runtime โดยตรง
- องค์ประกอบด้านการปฏิบัติการอย่าง identity, permission state, logging, governance และ deployment ถูกผูกรวมเข้าด้วยกัน
- AI ในระยะถัดไปกำลังขยับพ้นจากขั้นของการใส่ข้อความแล้วรับข้อความกลับ ไปสู่ stateful agent ที่ทำงานจริงภายในบริษัท
- คำว่า "virtual co-workers" อาจยังไม่สมบูรณ์นัก แต่ถูกมองว่าเป็นคำที่ฟังแล้วฝืนน้อยที่สุดในตอนนี้
- ทั้งอุตสาหกรรมยังไม่ได้ตกลงกันอย่างสมบูรณ์ว่าจะเรียกสิ่งนี้ว่าอะไร และควรใช้งานมันอย่างไร
- Codex ถูกยกมาเป็นตัวอย่างที่ชัดเจนของแนวโน้มนี้
- แก่นสำคัญคือหากงานที่ต้องการเกิดขึ้นได้จริง ผู้ใช้ก็จะไม่แยกแล้วว่าส่วนไหนมาจากโมเดลหรือมาจาก harness มากกว่ากัน
- ระดับการผสานระหว่างโมเดลกับ harness ถูกมองว่าเป็นหัวใจของประสิทธิภาพเอเจนต์
- tools, state, memory, permissions และ evals เป็นตัวกำหนดการทำงานจริง
- มันไม่เหมือนกับ pre-training โดยตรง แต่เกิดการผสานทั้งในระดับ post-training และระดับ prompt
- แม้แต่ tool-calling ที่ในช่วงแรกดูเหมือนแยกออกจากกัน เมื่อเวลาผ่านไปก็ถูกรวมลึกเข้าไปในกระบวนการฝึกมากขึ้น
- ต่อจากนี้ model กับ harness รวมถึง pre-training กับ post-training ก็มีแนวโน้มจะผสานกันแน่นแฟ้นขึ้นอีก
- วุฒิภาวะของอุตสาหกรรมยังถูกอธิบายว่าอยู่ในระยะเริ่มต้นมาก ถึงขั้นเปรียบกับยุค Homebrew Computer Club
- ความร่วมมือระหว่าง AWS และ OpenAI มุ่งรวมองค์ประกอบที่ลูกค้าเคยต้องประกอบเอง เพื่อให้ เข้าถึงคุณค่าได้เร็วขึ้นในสภาพแวดล้อมองค์กร
- ลูกค้าต้องการให้โมเดลและเอเจนต์ทำงานร่วมกันได้ดีพร้อมรักษาความจำต่อเนื่อง
- พวกเขาต้องการเชื่อมทั้งเครื่องมือ third-party ตลอดจนเครื่องมือภายใน ข้อมูลภายใน แอปพลิเคชันภายใน และสภาพแวดล้อมการปฏิบัติการของตนเอง
- งานบูรณาการลักษณะนี้จนถึงตอนนี้เป็นสิ่งที่ลูกค้าแต่ละรายต้องรับผิดชอบเอง
- ในผลิตภัณฑ์ร่วม identity จะถูกฝังมาให้ และการยืนยันตัวตนกับฐานข้อมูลก็ถูกออกแบบให้เกิดขึ้นภายใน AWS VPC
- เป้าหมายไม่ได้มีแค่การเพิ่มความสะดวก แต่คือการทำให้สิ่งที่แม้จะพยายามประกอบเองอย่างยากลำบากด้วยวิธีเดิมก็ยัง ไม่อาจทำให้เชื่อถือได้ กลายเป็นสิ่งที่ทำได้จริง
- สถานะปัจจุบันของนักพัฒนาถูกอธิบายว่า เมื่อต้องสร้างบางอย่างด้วยโมเดล พวกเขายังต้องเผชิญกับ ความยุ่งยากและงานทำมือมากเกินไป
- แม้แต่ในการใช้ ChatGPT ก็ยังมีการคัดลอก-วางและการผสมพรอมป์ต์ที่ซับซ้อนอยู่มาก
- แรงเสียดทานเหล่านี้จะหายไปในที่สุด แต่ตอนนี้ยังเป็นช่วงที่ทั้งใหม่มากและใช้งานไม่สะดวก
- ความร่วมมือครั้งนี้ยังเป็นผลจากการที่ลูกค้าที่อยู่บน AWS อยู่แล้วต้องการ OpenAI technology ขณะเดียวกัน OpenAI ก็ต้องการขยาย การเข้าถึงลูกค้า AWS ของตน
- ประเด็นที่ถูกเน้นมากกว่าการกระจายโมเดลแบบธรรมดา คือการร่วมกันสร้าง ผลิตภัณฑ์ใหม่
- ภาพที่ต้องการคือเมื่อมองย้อนกลับมาในอีก 1 ปี ความสำคัญของผลิตภัณฑ์ใหม่นี้จะเด่นชัดยิ่งกว่าการบอกว่า "เข้าถึงโมเดล OpenAI ผ่าน AWS ได้แล้ว"
- ในมิติของ model, harness และ capability สิ่งนี้กำลังเข้าใกล้ รูปแบบการคอมพิวต์แบบใหม่ ที่ต่างไปจากการเรียกใช้ model API แบบเดิม
AgentCore, Managed Agents, โมเดลการดำเนินงาน
- AgentCore ถูกอธิบายว่าเป็นชุดของ agent primitives เช่น memory, สภาพแวดล้อมการรันที่ปลอดภัย และการให้สิทธิ์
- Bedrock Managed Agents ถูกวางตำแหน่งเป็นผลิตภัณฑ์ชั้นบนที่ AWS และ OpenAI ร่วมกันสร้าง โดยนำโมเดล OpenAI และองค์ประกอบด้านการปฏิบัติการหลายอย่างมารวมบนคอมโพเนนต์ของ AgentCore
- สามารถสร้าง agentic workflow ได้เองโดยใช้เพียง AgentCore
- มีลูกค้าที่รันสิ่งนี้ใน production และใช้งานจริงอยู่แล้ว
- ปัจจุบันก็ยังสามารถใช้ AgentCore พร้อมกับ เรียกใช้โมเดล OpenAI ภายนอก ได้
- แม้จะไม่ใช่รูปแบบที่เชื่อมแบบเนทีฟภายใน Bedrock แต่ก็มีลูกค้าที่เรียกใช้โมเดล OpenAI ที่อยู่บนคลาวด์อื่นโดยตรง
- AWS มองสิ่งนี้เป็น ระบบนิเวศแบบเปิด
- วิธีสร้างเองโดยผสมความสามารถตามต้องการยังคงมีต่อไปได้ในอนาคต
- มองว่าจะยังมี builder ที่อยากสร้างเอเจนต์เองไปอีกนาน เหมือนคนที่ประกอบคอมพิวเตอร์เองที่บ้าน
- ลูกค้าจำนวนมากต้องการ วิธีที่ง่ายกว่า ซึ่งไม่จำเป็นต้องตั้งค่าทุกชิ้นส่วนเอง และการเปิดตัวความร่วมมือครั้งนี้ก็มุ่งตอบโจทย์ความต้องการนั้น
- การใช้ OpenAI บน Azure ถูกจัดว่าเป็นประสบการณ์การเข้าถึง API โดยตรง ส่วนประกาศครั้งนี้บน Amazon ถูกแยกให้เป็น managed service ที่ต่างออกไป
- managed agent service นี้ดำเนินการแบบ exclusive กับ Amazon ในตอนนี้
- ไม่ใช่แค่ระดับการใช้ Amazon API ธรรมดา แต่ถูกมองว่าเป็น joint effort ที่ทั้งสองบริษัทร่วมกันผลักดัน
- ข้อมูลของลูกค้าจะ คงอยู่ภายใน AWS
- ทุกอย่างอยู่ภายใน VPC และได้รับการปกป้องภายในสภาพแวดล้อมของ Bedrock
- โมเดล OpenAI จะรันผ่าน Bedrock โดยโครงสร้างพื้นฐานใช้ Trainium และ GPU แบบผสมกัน
- บางส่วนเป็นประเด็นเรื่องจังหวะเวลา และบางส่วนเป็นเรื่อง capabilities
- มีการชี้ทิศทางว่าเมื่อเวลาผ่านไป สัดส่วนที่มากขึ้นจะย้ายไปอยู่บน Trainium
- OpenAI เองก็แสดงความคาดหวังสูงต่อการที่โมเดลของตนจะรันบน Trainium
- เมื่อใช้งานโมเดล OpenAI ในสภาพแวดล้อม AWS ช่องทาง สนับสนุนด่านแรก จะเป็น AWS
- ลูกค้าจะได้รับความช่วยเหลือผ่าน AWS support และผู้ดูแลบัญชี AWS
- ในกระบวนการสร้างใช้งาน บุคลากรจากฝั่ง OpenAI ก็จะเข้าร่วมเพื่อช่วยปรับวิธีใช้งานร่วมกัน
- หากเป็นบั๊กที่ต้องการความช่วยเหลือจาก OpenAI ทาง AWS จะเป็นผู้เอสคาเลตไปยัง OpenAI
โลคัล, คลาวด์, สิทธิ์ และขอบเขตความปลอดภัย
- Codex เริ่มต้นบนคลาวด์ในช่วงแรก แต่มีการนำเสนอว่าการใช้งานจริงได้ไหลกลับไปสู่การรันแบบโลคัล
- เหตุผลที่โลคัลง่ายกว่าคือ สภาพแวดล้อมนั้นมีอยู่แล้วตรงนั้น
- การตั้งค่าคอมพิวเตอร์, ข้อมูล และการเข้าถึงไฟล์มีพร้อมอยู่แล้ว จึงต้องตั้งค่าเพิ่มเติมน้อย
- แม้จะไม่ใช่สภาพสุดท้าย แต่ในระยะสั้น ความสะดวกในการใช้งาน มีน้ำหนักมากกว่า
- ในระยะยาว ทิศทางที่ถูกพูดถึงคือให้เอเจนต์ รันบนคลาวด์ และเมื่อเป็นงานหนักมากหรือในสถานการณ์ที่ต้องปิดคอมพิวเตอร์ การส่งงานขึ้นคลาวด์จะมีประโยชน์
- ไคลเอนต์แบบโลคัลยังคงมีข้อดี
- เช่นเดียวกับที่แอป iPhone มีคอมโพเนนต์แบบโลคัล มันมีข้อได้เปรียบด้าน connectivity, latency, local compute และการเข้าถึงไฟล์กับแอปพลิเคชัน
- อย่างไรก็ตาม ไม่สามารถ scale-out ตัวโน้ตบุ๊กเองได้ จึงมี ข้อจำกัดด้านการขยายระบบ อย่างชัดเจน
- ในสภาพแวดล้อมองค์กร วิธีแบบโลคัลจะยากขึ้น
- แค่มีการแชร์กันระหว่างสองคน ความยากก็เพิ่มขึ้นแล้ว
- การจัดการ permissions และ security boundary ซับซ้อนมากขึ้น
- สุดท้ายจึงต้องมี bridge ที่เชื่อมโลคัลกับคลาวด์
- การพัฒนาเอเจนต์ในสภาพแวดล้อมเดียวกับที่จะ deploy ไปใช้งานจริงถือเป็นเรื่องธรรมชาติ และการออกแบบ identity และ permission ก็ยังเป็นพื้นที่ที่ยังไม่สมบูรณ์อีกมาก
- เอเจนต์ควรใช้บัญชีของคนเดิมไปเลยหรือไม่
- เอเจนต์ควรมีบัญชีแยกต่างหากหรือไม่
- หากมีหลายเอเจนต์ จะต้องแยกความต่างกันอย่างไร
- แม้แต่ primitive แบบ “เอเจนต์ของ Ben ล็อกอินเป็น Ben แต่ยังทิ้งสัญญาณไว้ว่าไม่ใช่ Ben ตัวจริงแต่เป็นเอเจนต์” ก็ยังไม่มี
- ยิ่งเอเจนต์ถูกนำเข้าไปเป็นส่วนหนึ่งของแรงงาน และมี ความเป็นอิสระกับความซับซ้อนของงาน สูงขึ้น โมเดลการควบคุมการเข้าถึงและสิทธิ์ทั้งภายในบริษัทและทั่วอินเทอร์เน็ตก็ต้องพัฒนาไปพร้อมกัน
- ยิ่งย้ายไปอยู่บนคลาวด์ องค์กรส่วนกลางก็จะยิ่งมี การควบคุมความปลอดภัย ที่เข้มแข็งขึ้น
- ลูกค้าชอบศักยภาพของโมเดลและเอเจนต์ที่ทรงพลัง แต่สิ่งที่กังวลที่สุดคือเหตุผิดพลาดที่อาจทำให้บริษัทพังได้โดยไม่ตั้งใจ
- สามารถควบคุมขอบเขตได้ด้วยการให้ทำงานภายใน VPC, บังคับให้ผ่าน gateway ที่กำหนด หรือให้สิทธิ์แบบ role ภายในสภาพแวดล้อม
- มีการเชื่อมโยงต่อว่าด้วยโครงสร้างความปลอดภัยที่ AWS สั่งสมมา 20 ปี จึงไม่ใช่แค่สตาร์ทอัพ แต่รวมถึงธนาคารระดับโลก, องค์กรเฮลท์แคร์ และหน่วยงานรัฐก็ใช้งานได้
- สำหรับองค์กรที่หลีกเลี่ยงความเสี่ยงมาก guardrail ภายใน sandbox กลับยิ่งช่วยขยายการนำไปใช้
AI stack และสถาปัตยกรรมสำหรับองค์กร
- ลูกค้าองค์กรต้องการชั้นการจัดการที่เชื่อมข้อมูลกับเอเจนต์ และให้การติดตาม ค่าใช้จ่ายโทเค็น กับการกำกับดูแล
- ลูกค้าองค์กรขนาดใหญ่เรียกร้องอย่างสม่ำเสมอถึงรูปแบบที่รวม agent runtime environment, ชั้นการจัดการ และ workspace สำหรับพนักงานเข้าด้วยกัน
- ตัวอย่างของ workspace สำหรับพนักงานคือรูปแบบอย่าง Codex
- ความต้องการแพ็กเกจลักษณะนี้ค่อนข้างสม่ำเสมอ แต่สิ่งที่จะส่งมอบจริงยังต้องสร้างเพิ่มอีกมาก
- มีความเห็นตรงกันว่าภายในองค์กรจำเป็นต้องมี middleware / middle layer ที่พาดผ่านฐานข้อมูลหลายตัว, แอป SaaS และข้อมูลที่กระจายอยู่
- ในบริบทที่เกี่ยวข้อง มีการเชื่อมโยง OpenAI Frontier ไว้ด้วย
- ภายใต้โครงสร้างปัจจุบัน ดูเหมือนว่ายังต้องมีทั้ง user agent layer ที่ดูแลปฏิสัมพันธ์กับผู้ใช้ และชั้นการจัดการของบริษัท
- ฝั่งผู้ใช้จะมีรูปแบบที่ใช้โต้ตอบกับเอเจนต์หลายตัว และสร้างให้เอเจนต์แต่ละตัวคุยกันเอง
- ส่วนในชั้นการจัดการของบริษัท control หลายแบบมีความสำคัญเมื่อ AI ต้องสำรวจสิ่งอย่าง file system
- อย่างไรก็ตาม หากโมเดลฉลาดพอ ก็ยังมีความเป็นไปได้ที่จะ ออกแบบใหม่ทั้งโครงสร้าง นี้
- โครงสร้างสองชั้นในตอนนี้เป็นรูปแบบที่เหมาะกับโลกปัจจุบัน
- ยังไม่มีใครรู้แน่ชัดว่าสถาปัตยกรรมในอนาคตจะเป็นอย่างไร
- ณ จุดหนึ่งอาจนำไปสู่ข้อสรุปว่า “สิ่งนี้ควรอยู่ในโมเดลไปเลย”
- สิ่งที่ต้องทำให้ง่ายขึ้น เร็วขึ้น และดีขึ้น จะค่อย ๆ เรียนรู้จากกระบวนการที่ลูกค้าใช้งานจริงและลงมือสร้างจริง
อุปสงค์, ความจุ, และการแบ่งชั้นของโมเดล
- OpenAI กำลังทุ่ม การซื้อคอมพิวต์จำนวนมาก และความพยายามอย่างมากให้กับธุรกิจนี้ และก็คาดหวังรายได้ที่สอดคล้องกัน
- ความต้องการด้าน intelligence ถูกมองว่าหากราคาต่ำลงมากพอ ก็แทบจะเป็น อุปสงค์ที่ไม่มีเพดาน
- ตอนนี้ ข้อจำกัดที่ใหญ่กว่าราคา ดูจะเป็น การขาดแคลนความจุ
- มีลูกค้ามากกว่าที่อยากได้ capacity เพิ่มและยินดีจ่ายเพิ่มโดยไม่สนราคา เทียบกับลูกค้าที่ต่อรองกันเรื่องราคา
- มีการแสดงความมั่นใจว่าต้นทุนของ intelligence ในระดับปัจจุบันจะ ลดลงอย่างมาก ต่อไปในอนาคต
- การที่อุปสงค์ส่วนใหญ่ของทั้งตลาดไปกระจุกอยู่ที่ absolute frontier ถือเป็นสัญญาณที่น่าประหลาดใจกว่าที่คาด
- แทนที่จะเป็นสมมติฐานว่าโมเดลรุ่นก่อนก็เพียงพอแล้ว กลับเห็นแนวโน้มที่ต้องการโมเดลแนวหน้าล่าสุดอย่างต่อเนื่องชัดกว่า
- เช่นเดียวกับที่ต้นทุนคอมพิวต์ลดลงมากตลอดหลายทศวรรษ แต่ยอดขายยังคงเพิ่มขึ้นต่อเนื่อง ก็มีการเสนอว่า AI อาจเดินตามเส้นทาง การขยายตัวของอุปสงค์ คล้ายกัน
- ตอนนี้ หากต้องการทำงานที่มีประโยชน์ หลายกรณีก็ยังต้องใช้ frontier model จึงทำให้ทุกคนมุ่งไปทางนั้น
- เมื่อเวลาผ่านไป คาดว่าจะเกิดโครงสร้างแบบผสมที่มีทั้ง โมเดลขนาดเล็กที่ถูกกว่าและเร็วกว่า ควบคู่กับโมเดลขนาดใหญ่มาก
- โมเดลขนาดเล็กบางตัวอาจพัฒนาไปจนทำงานที่แม้แต่โมเดล OpenAI รุ่นล่าสุดในตอนนี้ยังทำไม่ได้
- ส่วนโมเดลขนาดใหญ่มากอาจมุ่งไปที่ปัญหาใหญ่กว่า เช่น การรักษามะเร็ง
- ตอนนี้ยังเป็นเพียง ระยะเริ่มต้น และการที่ทั้งอุปสงค์กับการเติบโตปรากฏขึ้นพร้อมกันในระดับนี้ ก็ยิ่งขยายความเป็นไปได้ในอนาคตอย่างมาก
Trainium, การทำ abstraction, และคอมพิวต์ภายใน
- เมื่อตอบคำถามว่า Trainium อาจมีบทบาทเด่นขึ้นในด้าน inference มากกว่าที่ชื่อบอกไว้หรือไม่ AWS ตอบว่ามีประโยชน์ทั้งสำหรับ training และ inference
- มีการเน้นว่าลูกค้าในอนาคตจะได้ใช้งาน Trainium ผ่าน abstraction ของ managed service มากกว่าการลงมือจัดการโดยตรง
- เช่นเดียวกับที่ลูกค้าส่วนใหญ่ไม่ได้จัดการ GPU โดยตรง เมื่อใช้ OpenAI หรือ Claude แท้จริงแล้วผู้ใช้จะโต้ตอบกับ interface ไม่ใช่ GPU, Trainium หรือ TPU
- ต่อไป accelerator chip ก็น่าจะยังทำงานอยู่เบื้องหลังโมเดลและบริการขนาดใหญ่เพียงไม่กี่ราย
- อาจมีในระดับ 5, 10, 20 หรือ 100 ราย แต่คงไม่ได้มีผู้คนหลายล้านคนเพิ่มขึ้นมานั่งโปรแกรมสิ่งเหล่านี้โดยตรง
- การฝึกโมเดลใช้เงินสูงและต้องอาศัยความเชี่ยวชาญด้านการปฏิบัติการอย่างมาก
- ทีม OpenAI โดดเด่นมากในด้านการดึงคุณค่าออกจากคลัสเตอร์คอมพิวต์ขนาดใหญ่ แต่ก็มีองค์กรไม่มากที่มีทีมลักษณะนี้
- OpenAI บอกว่าตอนแรกพวกเขามองตัวเองคล้าย token factory แต่ก็แก้คำพูดทันทีว่าจริง ๆ แล้วใกล้เคียงกับ intelligence factory มากกว่า
- สิ่งที่ลูกค้าต้องการไม่ใช่จำนวนโทเค็น แต่คือการได้รับหน่วยสติปัญญาที่ดีที่สุดในต้นทุนต่ำที่สุดพร้อมความจุที่เพียงพอ
- GPT-5.5 ถูกยกเป็นตัวอย่างว่า ต้นทุนต่อโทเค็นสูงกว่า 5.4 แต่ใช้โทเค็นน้อยกว่ามากเพื่อให้ได้คำตอบเดียวกัน
- ผู้ใช้สนใจมากกว่าว่างานที่ต้องการเสร็จหรือยัง มากกว่าจะสนใจว่าคำตอบนั้นใช้ไปกี่โทเค็น
- ไม่ว่าจะเป็นโมเดลใหญ่ที่รันด้วยโทเค็นน้อยกว่า หรือโมเดลเล็กที่ใช้โทเค็นมากกว่า ไม่ว่าจะเป็น GPU หรือ Trainium ลูกค้าก็ต้องการ ประโยชน์สูงในต้นทุนต่ำ มากกว่ารายละเอียดการทำงานภายใน
- แม้แต่ตอนสร้างเอเจนต์ใหม่ใน Codex หรือ Stateful Runtime Environment สำหรับ Amazon Bedrock ผู้ใช้ก็ควรไม่จำเป็นต้องรับรู้เรื่องการเลือกคอมพิวต์ภายใน
- การใช้โทเค็นที่ลดลง ส่วนใหญ่เป็นผลจากการพัฒนาโมเดล โดยผลจากฮาร์เนสมีส่วนเพียงบางส่วน
- เมื่อถูกถามว่า AWS จะขยาย managed service ลักษณะคล้ายกันไปยังโมเดลอื่นหรือไม่ AWS ตอบเพียงว่าขณะนี้กำลังโฟกัสที่ ความร่วมมือกับ OpenAI
การพัฒนาของตลาดและกลยุทธ์แพลตฟอร์ม
- ChatGPT ถูกประเมินว่าเป็นผลิตภัณฑ์ผู้บริโภครายใหญ่ตัวใหม่ตัวแรกนับตั้งแต่ Facebook
- OpenAI ระบุว่านอกจาก ChatGPT แล้ว ยังทำผลงานได้ค่อนข้างดีใน API และโดยเฉพาะ Codex
- ยังมีการย้อนมองด้วยว่าในอดีตเคยโฟกัสมากกว่าว่าอินเทอร์เฟซภาษาแบบใหม่จะเปลี่ยนวิธีค้นหาข้อมูลบนอินเทอร์เน็ตได้อย่างไร
- Google ยังถูกประเมินว่าเป็น phenomenal company ทั้งในด้าน breadth และ depth
- AWS เลือกใช้ กลยุทธ์ที่ยึดพาร์ตเนอร์เป็นศูนย์กลาง มาตั้งแต่แรก และมุ่งไปที่โครงสร้างที่เมื่อพาร์ตเนอร์ประสบความสำเร็จ AWS ก็จะประสบความสำเร็จด้วย
- แตกต่างจากแนวทางที่ต้องเป็นเจ้าของทุกอย่างเอง และใกล้เคียงกับการ ขยายขนาดพายทั้งก้อน มากกว่า
- มุมมองของ AWS คือ ลูกค้าควรสามารถเลือกสิ่งที่เหมาะกับตัวเองที่สุดได้ ไม่ว่าจะเป็นผลิตภัณฑ์ของตนเองหรือของพาร์ตเนอร์
- Bedrock ก็ถูกออกแบบบนกลยุทธ์นี้ เพื่อรองรับโมเดลที่หลากหลายและฟีเจอร์ที่หลากหลาย
- AWS ยังยึดแนวทางคล้ายกันนี้ในด้านอื่น ๆ เช่น ฐานข้อมูลและแพลตฟอร์มคอมพิวต์
- AWS มองว่าในชั้นโครงสร้างพื้นฐานนั้นจะผลักดันองค์ประกอบหลักของตนเองอย่างหนัก เช่น S3 แต่เมื่อขึ้นไปยังเลเยอร์ที่สูงขึ้นของสแตก การเปิดรับ ecosystem ของพาร์ตเนอร์ที่กว้างขึ้นก็เป็นผลดีกับลูกค้าด้วย
- บทบาทของทั้งสองบริษัทคือ OpenAI ทำ Software, AWS ทำ Infrastructure และร่วมกันสร้าง Platform
- ทั้งสองฝ่ายคาดว่าความสามารถของโมเดลจะพัฒนาอย่างรวดเร็วมากในช่วง 1 ปีข้างหน้า จึงมองว่าช่วงเวลานี้เป็น จังหวะที่ดี สำหรับการสร้างแพลตฟอร์มร่วมกันในตอนนี้
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
เพราะสามารถเข้าถึงผ่าน Amazon ในฐานะคนกลางที่ "เชื่อถือได้" ได้ OpenAI ถูกแบนและไม่ได้รับความไว้วางใจ
ฉันไม่ได้เห็นด้วยกับการตัดสินของทีมกฎหมายขององค์กรเหล่านี้ไปเสียทั้งหมด แต่ก็น่าจะอ่านเงื่อนไขการให้บริการละเอียดกว่าฉันมาก
จะเปลี่ยนเกมได้ไหมจากประกาศนี้คงต้องรอดู แต่ตอนนี้จากความรู้สึก OpenAI ดูตามหลังอยู่พอสมควรในหลายด้าน
อย่างไรก็ดี ในวงการ AI ความต่าง 2~8 สัปดาห์ ก็ไม่ได้ถือว่าห่างกันมหาศาล อาจเป็นปัญหาเรื่องภาพลักษณ์มากกว่าผลกระทบจริง
อย่างน้อยในฟองข้อมูลของฉัน ชื่อเสียงของ OpenAI ตกต่ำเพราะ Sam Altman และหลายคนไม่ชอบเพราะดูไร้จริยธรรม แถมพอเห็นเรื่องข้อเรียกร้องเกี่ยวกับ fabs ก็ยิ่งดูไม่มั่นคงน่ากังวล
แค่ใช้ AWS อย่างเดียวไม่พอ และถึง AWS จะเป็นคนรันโมเดล ถ้าต้องการ ZDR แบบจริงจังก็ต้องไปตกลงกับฝั่งนั้นแยกต่างหาก [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
ทั้งสองฝ่ายได้ประโยชน์ชัดเจน และวัฒนธรรม feedback loop ของลูกค้า AWS ก็น่าจะช่วยให้ Anthropic พร้อมรองรับลูกค้าองค์กรได้เร็วขึ้น
ฝั่ง Azure มีมาสักพักแล้ว
ส่วน Anthropic โฟกัสกับอย่างเดียว และนั่นคงเป็นเหตุผลที่ทำไมถึงติดอันดับบนสุดใน SWE benchmark อยู่เสมอ
AWS ระบุชัดว่าอินพุตและเอาต์พุตจะไม่ถูกแชร์กับผู้ให้บริการโมเดล และจะไม่ถูกนำไปใช้ฝึกโมเดลพื้นฐานด้วย [1]
ยิ่งไปกว่านั้น OpenAI ยังถูกคำสั่งเก็บรักษาข้อมูลในคดี NYT v. OpenAI เมื่อเดือนพฤษภาคม 2025 และศาลก็บังคับให้เก็บล็อกเอาต์พุตของ ChatGPT ไว้แทบจะไม่มีกำหนด
ซึ่งรวมถึงบทสนทนาที่ผู้ใช้ลบไปแล้วและเดิมควรถูกลบภายใน 30 วันด้วย [2]
เพราะแบบนี้สำหรับองค์กรที่ถูกผูกด้วย HIPAA/GDPR มันแทบไม่ผ่านตั้งแต่จุดเริ่มต้น
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
ฉันมองว่าการเมืองในองค์กรหรือการรีวิวเชิงราชการ มักจะไปผูกคนระดับล่างไว้กับงานเศษฟีเจอร์และงานปฏิบัติการมากกว่า
ถ้าโมเดลนี้คล้ายกับ GPT เวอร์ชัน OSS มากพอ ก็อาจไม่ได้ซับซ้อนอย่างที่คิด
เพราะ quantization, ชิปเสิร์ฟโมเดลแบบคัสตอม, batching และการปรับแต่งอนุมานอื่นๆ พฤติกรรมของเวอร์ชันที่โฮสต์อาจต่างจากเวอร์ชันของผู้ให้บริการต้นทางได้
งานวิจัยนี้ไม่ตรงกันเสียทีเดียว เพราะพูดถึง Llama แบบ open weight ที่ตรวจสอบได้ แต่ก็แสดงอาการคล้ายกันได้ดี
https://arxiv.org/pdf/2410.20247
ดูแล้วน่าจะทำมาร์จินได้ไม่น้อยด้วย
ฉันก็สงสัยเหมือนกันว่านี่เชื่อมตรงกับกระแสแยกทางจาก Microsoft หรือไม่
จากกรณีรอบตัวฉัน ในการดีพลอยระดับองค์กรแบบจริงจัง OpenAI แทบถูกมองข้าม เพราะของที่ให้ผ่าน Azure ไม่ค่อยดี และนอกนั้นก็ไม่มีช่องทางที่เป็นมิตรกับองค์กรมากนัก
ดูเหมือน OpenAI จะตระหนักแล้วว่าถ้ายังเสียตลาดองค์กรให้คู่ Anthropic กับ AWS ต่อไปจะเป็นเรื่องร้ายแรง เลยเริ่มขยับเพื่อไล่ตาม
https://news.ycombinator.com/item?id=47921248
อุตสาหกรรมที่ถูกกำกับดูแลอย่างการเงินและเฮลธ์แคร์ มักมีสัญญากับ AWS ที่รวมข้อผูกพันเรื่อง data residency ไว้อยู่แล้ว
OpenAI บน Bedrock ทำให้องค์กรเหล่านี้ไม่ต้องไปเจรจา DPA แยกกับ OpenAI ซึ่งอาจเป็นจุดทะลุที่ใหญ่กว่าที่เห็นจากเอกสารมาก
มี subprocessor น้อยลงหนึ่งราย และข้อมูลก็อยู่ใน AWS อยู่แล้ว จึงกังวลน้อยลงว่าจะถูกส่งออกไปที่อื่น
เว้นแต่ AWS จะยอมถอยและทำให้ Bedrock ใช้งานได้จริงขึ้นด้วยการเพิ่ม ความเข้ากันได้กับ OpenAI API
รองรับทั้ง Responses และ Chat Completions ดูได้ที่นี่ https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
แค่โพสต์ HN รอบนี้ก็มีลิงก์ประกาศขึ้นมาพร้อมกันถึง 4 อัน ซึ่งไม่ใช่เรื่องบังเอิญ
เพราะถ้าคำพูดผิดออกมาในจังหวะผิด เงินลงทุนระดับหลายพันล้านดอลลาร์ก็อาจสั่นคลอนได้ ดังนั้นสารที่สื่อออกไปจึงต้องถูกขัดเกลาอย่างระมัดระวังและปล่อยเป็นลำดับขั้น