โทเคน AI เดินทางผ่านดาต้าเซ็นเตอร์อย่างไร

 (datagravity.dev)
4 คะแนน โดย GN⁺ 3 시간 전 | ยังไม่มีความคิดเห็น | แชร์ทาง WhatsApp
  • ในปี 2026 การอนุมานของ AI (AI inference) ขยายตัวจนคิดเป็นราวสองในสามของการประมวลผล AI ทั้งหมด และคิดเป็น 80–90% ของต้นทุนประมวลผลตลอดอายุการใช้งานของโมเดลที่นำไปใช้งานจริง ทำให้ต้นทุนการประมวลผลโทเคนและเวลาแฝงเป็นตัวกำหนดความคุ้มค่าทางเศรษฐศาสตร์ของโครงสร้างพื้นฐาน
  • คำขอหนึ่งรายการต้องผ่าน เส้นทาง 15 ขั้นตอน ตั้งแต่การทำโทเคน, API gateway, การยืนยันตัวตน, การกำหนดเส้นทาง, การจัดตารางงาน, KV cache, GPU·HBM, CUDA kernel, NVLink·switch·NIC·Ethernet แล้วจึงกลับมาเป็นคำตอบ
  • พรีฟิล (prefill) ซึ่งประมวลผลอินพุตแบบขนานผูกอยู่กับปริมาณการคำนวณและเวลาแฝงของโทเคนแรก ส่วนการดีโค้ดที่สร้างโทเคนทีละตัวผูกอยู่กับแบนด์วิดท์หน่วยความจำ รวมถึงความเร็วและต้นทุนในการสร้าง ดังนั้น batching, quantization และ speculative decoding จึงมุ่งแก้คอขวดคนละแบบ
  • Continuous batching และ PagedAttention ช่วยเพิ่มอัตราการใช้ GPU และ throughput พร้อมกัน ส่วน prompt caching ลดต้นทุนอินพุตซ้ำได้สูงสุด 90% และลดเวลาแฝงของพรอมป์ต์ยาวได้ราว 85% ขณะที่การแยก prefill·decode ทำให้สามารถบริหาร GPU pool แยกตามแต่ละขั้นตอนได้
  • ต้นทุนในการให้คุณภาพระดับคงที่ลดลงด้วยค่ามัธยฐานรายปีราว 200 เท่า แต่ throughput เพิ่มขึ้น 7 เท่า และมูลค่าในระยะยาวจะกระจุกอยู่ที่คอขวดทางกายภาพอย่างแบนด์วิดท์ HBM, เครือข่ายเชื่อมต่อ NVLink, ชิ้นส่วนออปติคัล และพลังงาน รวมถึงแพลตฟอร์ม inference ที่เปลี่ยนประสิทธิภาพให้เป็นการผูกลูกค้าไว้กับระบบ

เหตุผลที่ inference กลายเป็นศูนย์กลางของเศรษฐกิจ AI

  • แชตบอต, coding agent, การสรุปผลค้นหา และคำบรรยายภาพ ล้วนเป็น งานสร้างโทเคน ที่ทำ forward pass กับโมเดลที่ฝึกแล้วเพื่อทำนายโทเคนถัดไปซ้ำ ๆ และกระบวนการนี้คือ inference
  • Google เปิดเผยว่าในเดือนพฤษภาคม 2026 บริษัทประมวลผล 3.2 พันล้านล้านโทเคน ต่อเดือนทั่วทั้งบริการของตน
    • หากคิดเป็นรายปีจะอยู่ที่ประมาณ 3.8 หมื่นล้านล้านโทเคน
    • เพิ่มขึ้น 7 เท่าจาก 480 ล้านล้านโทเคนต่อเดือนเมื่อหนึ่งปีก่อน และช่วงต้นปี 2024 อยู่ที่ 9.7 ล้านล้านโทเคนต่อเดือน
    • ตัวเลขนี้เป็นต้นทุนของการตอบสนองต่อคำขอของผู้ใช้ ไม่ใช่การฝึกโมเดล
  • สัดส่วนของ inference ในการประมวลผล AI เพิ่มจากราวหนึ่งในสามในปี 2023 เป็นครึ่งหนึ่งในปี 2025 และราว สองในสาม ในปี 2026
  • สำหรับโมเดลที่นำไปใช้งานจริง inference เป็นต้นทุนขายที่เกิดซ้ำในทุกคำขอ และมีหลักปฏิบัติจากประสบการณ์ในอุตสาหกรรมว่าคิดเป็น 80–90% ของต้นทุนประมวลผลตลอดอายุการใช้งาน
  • รายจ่ายลงทุนปี 2026 ที่ไฮเปอร์สเกลเลอร์รายใหญ่ 4 รายระบุไว้ อยู่ที่ประมาณ 725,000 ล้านดอลลาร์ เพิ่มขึ้น 77% จากปีก่อน
    • มากกว่า 60% ในนั้นถูกใช้ไปกับพลังงาน การทำความเย็น และอาคาร ไม่ใช่ชิป
    • เฉพาะตลาดซิลิคอนสำหรับ inference คาดว่าจะเกิน 50,000 ล้านดอลลาร์ในปี 2026
  • มีการเปลี่ยนแปลงสองอย่างที่ทำให้ความต้องการ inference เพิ่มขึ้น
    • การขยายเวลาคิดระหว่าง inference และระบบ agent ใช้โทเคนต่อคำถามมากขึ้น 10–100 เท่า
    • เวิร์กโฟลว์แบบ agent แพงกว่าคำขอเดี่ยว 5–25 เท่าต่องาน เพราะมีการลองซ้ำ การเรียกใช้เครื่องมือ และการโหลดบริบทซ้ำ
  • ต้นทุนในการให้คุณภาพระดับคงที่ลดลงด้วยค่ามัธยฐานรายปีราว 200 เท่า ตั้งแต่ต้นปี 2024 แต่เกิด Jevons paradox คือโทเคนที่ถูกลงเปิดทางให้งานเพิ่มขึ้นและทำให้การใช้งานรวมเพิ่มตาม
  • Batching, paging, quantization, speculative decoding, disaggregated serving และ network fabric ล้วนเป็นเทคโนโลยีที่มุ่งลด ต้นทุนต่อโทเคน ภายใต้เวลาแฝงเป้าหมาย

ขั้นตอนที่ 1–4: แปลงข้อความให้เป็นงานที่จัด batch ได้

  • ขั้นตอนที่ 1: ผู้ใช้และการทำโทเคน

    • ไคลเอนต์ส่งข้อความผ่าน HTTPS แต่โมเดลรับอินพุตเป็น ID จำนวนเต็ม ไม่ใช่ข้อความ
    • Tokenizer แบบ BPE ระดับไบต์จะแบ่งสตริงเป็นโทเคนย่อยระดับคำ และจับคู่โทเคนแต่ละตัวกับ ID ใน vocabulary ที่มีราว 100,000–200,000 รายการ
    • RFP 12,000 โทเคนและคำถามในตัวอย่างจะกลายเป็นลำดับแบนของ ID จำนวนเต็ม 12,022 ตัว
    • การทำโทเคนทำบน CPU แบบกำหนดผลได้แน่นอนและแทบไม่มีต้นทุน แต่จำนวนโทเคนอินพุต·เอาต์พุตเป็นตัวกำหนดยอดเรียกเก็บเงิน
    • หน้าต่างบริบท 200,000–1,000,000 โทเคนของ frontier model ในปี 2026 คือขีดจำกัดสูงสุดของขนาดเอกสารที่ป้อนได้ในครั้งเดียว

  • ขั้นตอนที่ 2: API gateway

    • API gateway ยุติ TLS, แยกวิเคราะห์คำขอ จากนั้นตรวจสอบ schema, จัดการเวอร์ชัน API, จำกัดคำขอแบบคร่าว ๆ, กำหนด tracing ID และบันทึกการใช้งานครั้งแรก
    • ประมวลผลคำขอหลายล้านรายการต่อวินาทีด้วยพร็อกซีระดับ Envoy หรือ NGINX และ web application firewall โดยไม่รันลอจิกของโมเดล
    • งบเวลาแฝงอยู่ที่ ต่ำกว่า 1 มิลลิวินาที และปฏิเสธทราฟฟิกราว 5% ที่เป็นรูปแบบผิดพลาด เกินโควตา หรือเป็นคำขอเชิงโจมตีก่อนจะไปถึงทรัพยากรราคาแพง

  • ขั้นตอนที่ 3: การยืนยันตัวตนและระดับการคิดเงิน

    • เชื่อม API key หรือ OAuth token กับองค์กร เพื่อตรวจสอบระดับการจำกัดคำขอและเพดานการใช้จ่าย แล้วกำหนด ราคาต่อโทเคน ที่จะใช้
    • สิทธิ์ในการใช้ส่วนลดอินพุตจาก cache, เส้นทางประมวลผลแบบ priority และราคาประมวลผลแบบ batch ที่ถูกลง ก็ถูกกำหนดในขั้นตอนนี้ด้วย
    • เปลี่ยนไบต์นิรนามให้เป็นหน่วยงานที่ถูกวัดปริมาณ คิดเงิน และแยกกั้น พร้อมตั้งขอบเขตการแยกข้อมูลตามองค์กรและการป้องกันการใช้งานในทางที่ผิด

  • ขั้นตอนที่ 4: การกระจายโหลด

    • ตัวกระจายโหลดทั่วไปใช้ health check และสัญญาณโหลดแบบเรียลไทม์เพื่อกระจายคำขอไปยัง replica ของโมเดลเดียวกัน
    • ใน LLM การทำ round-robin แบบง่ายจะส่งคำขอที่มี system prompt หรือ prefix เอกสารเหมือนกันไปยัง replica คนละตัว ทำให้เสียโอกาส ใช้ cache ซ้ำ
    • การกระจายโหลด AI สมัยใหม่พัฒนาเป็นวิธีแบบ cache-aware ที่เลือก replica ซึ่งมี KV cache ของ prefix เดียวกัน และมีบทบาททับซ้อนกับ inference router ในขั้นตอนถัดไป
    • เมื่อเครื่องทั้งหมดอิ่มตัว ขั้นตอนนี้ยังตัดสินใจด้วยว่าจะให้คำขอรอคิวหรือส่ง 429 กลับไป

ขั้นตอนที่ 5–6: กำหนดตำแหน่งรันและ batch

  • ขั้นตอนที่ 5: Inference router

    • Inference router เลือก โมเดล·ซิลิคอน·replica ภายในไม่กี่มิลลิวินาที
    • เลือกคอนฟิกที่ประหยัดที่สุดซึ่งตรงตาม service level objective จากตัวเลือกอย่าง frontier 70B, 8B ที่ผ่านการ distill, reasoning model หรือคู่โมเดล draft·target
    • หากนำคำขอที่โมเดล 8B ตอบสนองได้ไปประมวลผลด้วย 70B ก็จะเผาผลาญ margin โดยไม่จำเป็น
    • Prefill ที่เน้นการคำนวณต้องการ FLOPS ส่วน decode ที่เน้นหน่วยความจำต้องการแบนด์วิดท์ HBM ดังนั้น GPU ที่เหมาะสมอาจต่างกันได้แม้ในคำขอเดียวกัน
    • การส่งไปยัง instance ที่มี KV cache ของ prefix เดียวกัน สามารถเปลี่ยน prefill 12,000 โทเคนให้กลายเป็น cache hit ที่แทบไม่มีต้นทุน
    • Compiler และ autotuner จะ precompile และปรับแต่ง GPU kernel ให้เหมาะกับโมเดล รูปแบบอินพุต และชิป จากนั้นเลือกรันไทม์ execution plan ที่ถูกที่สุด
    • Together AI, Fireworks, Baseten และ Modular ทำให้การเลือก kernel·chip·precision ในเลเยอร์นี้เป็นผลิตภัณฑ์ และสร้างรายได้จากโครงสร้างพื้นฐาน inference ของตนเอง

  • ขั้นตอนที่ 6: Scheduler และ continuous batching

    • เมื่อ batch size เป็น 1 H100 จะถูกจำกัดด้วยหน่วยความจำมากกว่าการคำนวณ ทำให้อัตราการใช้ streaming multiprocessor อยู่เพียงราว 30–40%
    • Scheduler ใช้ continuous batching เพื่อเพิ่มคำขอใหม่และนำลำดับที่เสร็จแล้วออกในทุก forward pass
    • จึงเติม GPU ได้อย่างต่อเนื่องโดยไม่ต้องรอให้ชุดคำขอแบบคงที่เสร็จทั้งหมด
    • vLLM ใช้วิธีนี้สร้าง throughput สูงกว่าระบบ serving รุ่นก่อน 2–4 เท่า และรองรับ ทราฟฟิกมากกว่า 3–5 เท่า เมื่อเทียบกับลูป PyTorch แบบง่ายบน H100 ตัวเดียวกัน

ขั้นตอนที่ 7~8: แคช KV และการจัดการหน่วยความจำ GPU

  • ขั้นตอนที่ 7: แคช KV

    • ในแต่ละเลเยอร์ attention จะมีการสร้างเวกเตอร์ Key และ Value สำหรับทุกโทเคน และโทเคนถัดไปจะอ้างอิง K/V ของโทเคนทั้งหมดก่อนหน้า
    • หากคำนวณใหม่ทุกครั้ง จะเกิดต้นทุน O(n²) เมื่อมีคอนเท็กซ์ยาว ดังนั้นช่วง prefill จะคำนวณ K/V ของตำแหน่ง 12,022 รายการเพียงครั้งเดียว แล้วบันทึกไว้ใน แคช KV
    • หลังจากนั้น ขั้นตอน decode จะเพิ่ม K/V ของโทเคนใหม่หนึ่งรายการ และอ่านแคชเดิม
    • แคช KV จะใหญ่ขึ้นตามจำนวน sequence ที่ทำงานพร้อมกันและความยาวของมัน และเป็นโครงสร้างที่ใช้หน่วยความจำ GPU มากที่สุดและเปลี่ยนแปลงแบบไดนามิกที่สุดระหว่างการให้บริการ

  • PagedAttention และการป้องกัน fragmentation

    • เนื่องจากความยาวของ sequence คาดการณ์ได้ยาก การจัดสรรหน่วยความจำแบบต่อเนื่องอาจทำให้ หน่วยความจำ 60~80% ใช้งานไม่ได้
    • PagedAttention / vLLM แบ่งแคช KV ออกเป็นเพจขนาดคงที่ เหมือนหน่วยความจำเสมือนของระบบปฏิบัติการ
    • จัดสรรบล็อกทางกายภาพเท่าที่จำเป็นและเชื่อมด้วย page table จึงไม่ต้องมีพื้นที่ต่อเนื่อง
    • เพจของ sequence ที่เสร็จสิ้นแล้วจะถูกคืนทันที
    • sequence ของผู้ใช้หลายคนสามารถแชร์ GPU เดียวกันได้อย่างปลอดภัยและมีประสิทธิภาพ
    • วิธีจัดการหน่วยความจำนี้ช่วยหนุนให้ vLLM มี throughput เพิ่มขึ้น 2~4 เท่า

  • การแคชพรอมป์ต์และ prefix

    • คำขอที่ใช้ system prompt, คำนำแบบ few-shot หรือ prefix ของเอกสารซ้ำกัน สามารถนำแคช KV ที่คำนวณไว้ครั้งเดียวกลับมาใช้ใหม่ได้
    • Anthropic ให้บริการการอ่านแคชในราคา 0.30 ดอลลาร์ต่อ 1 ล้านโทเคน ซึ่งเป็น 0.1 เท่าของราคา input ปกติ โดย input ปกติอยู่ที่ 3 ดอลลาร์
    • OpenAI GPT-5.x ก็คิดราคา cached input ที่ 0.50 ดอลลาร์ และ input ปกติที่ 5 ดอลลาร์ เท่ากับใช้ส่วนลด 90% ทั้งหมด
    • สำหรับพรอมป์ต์ยาว latency ก็ลดลงประมาณ 85% และคำถามต่อเนื่องของ RFP ตัวอย่างไม่จำเป็นต้องทำ prefill 12,022 โทเคนซ้ำ

  • ขั้นตอนที่ 8: องค์ประกอบสามส่วนของหน่วยความจำ GPU

    • หน่วยความจำในแพ็กเกจ GPU จะประกอบด้วย น้ำหนักโมเดล ที่คงที่, แคช KV ที่เพิ่มขึ้นตามคำขอพร้อมกันและความยาว, รวมถึง activation และ workspace ชั่วคราว
    • หลังจากโหลดน้ำหนักแล้ว พื้นที่ที่เหลือจะกลายเป็นงบประมาณสำหรับแคช KV ดังนั้นบ่อยครั้งที่หน่วยความจำเป็นตัวจำกัดจำนวนผู้ใช้พร้อมกันมากกว่าปริมาณการคำนวณ
    • โมเดล 70B มีขนาดประมาณ 140GB ใน FP16 จึงต้องใช้ H100 80GB สองตัว แต่ใน FP8 จะลดลงเหลือประมาณ 70GB ทำให้เหลือพื้นที่สำหรับแคช KV บน GPU ตัวเดียวได้
    • หน่วยความจำที่ประหยัดได้จากน้ำหนักด้วย quantization จะนำไปสู่จำนวนผู้ใช้พร้อมกันที่มากขึ้นโดยตรง

ขั้นตอนที่ 9~10: คอขวด HBM และการปรับแต่ง GPU kernel

  • ขั้นตอนที่ 9: คอขวดที่แตกต่างกันของ prefill และ decode

    • prefill คือการคูณเมทริกซ์ขนาดใหญ่ที่ประมวลผลโทเคน input 12,022 รายการแบบขนาน ทำให้ tensor core ทำงานเต็ม และถูกผูกกับปริมาณการคำนวณและเวลาได้โทเคนแรก (TTFT)
    • decode ต้องอ่านน้ำหนักโมเดลทั้งหมดและแคช KV ที่เพิ่มขึ้นจาก HBM ทุกครั้งที่สร้างโทเคนถัดไปหนึ่งรายการ
    • ที่ batch size 1 ความเข้มข้นเชิงคำนวณของ decode อยู่ที่ประมาณ 1 FLOP ต่อ byte ซึ่งต่ำกว่าขอบเขตของ roofline ที่ประมาณ 410~590 FLOP/byte มาก
    • tensor core ใช้เวลารอหน่วยความจำนานกว่าการคำนวณ และ แบนด์วิดท์ HBM จะกำหนดเพดานของความเร็วและต้นทุนในการสร้าง

  • การลด precision

    • เมื่อลด precision จาก FP16 เป็น FP8 และ FP4 จำนวนไบต์ของน้ำหนักที่ต้องอ่านต่อโทเคนจะลดลง ทำให้ throughput ของ decode ที่เน้นหน่วยความจำเพิ่มขึ้น
    • NVIDIA NVFP4 เป็นรูปแบบ floating point 4 บิตสำหรับ tensor core รุ่นที่ 5 ของ Blackwell
    • ให้ throughput ทางคณิตศาสตร์สูงกว่า FP8 ประมาณ 2~3 เท่า และประหยัดหน่วยความจำได้ประมาณ 1.8 เท่า
    • รักษาความแตกต่างจากความแม่นยำอ้างอิงไว้ภายในประมาณ 1%
    • มีส่วนช่วยเร่ง inference แบบ end-to-end ได้สูงสุด 5 เท่าเมื่อเทียบกับ Hopper

  • ขั้นตอนที่ 10: CUDA kernel และ fusion

    • การคำนวณทางคณิตศาสตร์ของ GPU ทำงานผ่าน kernel ซึ่งเป็นโปรแกรมขนาดเล็กที่รันบนคอร์นับพัน
    • หากรันการดำเนินการของ transformer เป็น kernel แยกกันหลายร้อยตัว แต่ละ kernel จะอ่านข้อมูลจาก HBM แล้วเขียนผลลัพธ์กลับไป ทำให้เป็นภาระหนักสำหรับงานที่ถูกจำกัดด้วยแบนด์วิดท์
    • kernel fusion รวมหลายการดำเนินการเข้าด้วยกัน เพื่อเก็บข้อมูลกลางไว้ใน SRAM บนชิปและลดการเข้าถึง HBM
    • FlashAttention ใช้ attention แบบแบ่ง tile และ online softmax เพื่อลดการอ่าน/เขียน HBM ตามความยาว sequence จากระดับกำลังสองเหลือระดับเชิงเส้น และเร่งความเร็วได้ 2~4 เท่า
    • FlashAttention-3 ใช้ asynchronous engine ของ Hopper และ FP8 ทำให้บน H100 ไปถึง 840TFLOPS หรือประมาณ 85% ของประสิทธิภาพสูงสุด

  • speculative decoding

    • ใน decode แม้จะสร้างโทเคนเพียงหนึ่งรายการก็ต้องอ่านน้ำหนักทั้งหมด ดังนั้นต้นทุนเพิ่มเติมในการตรวจสอบโทเคน候เลือกหลายรายการแบบขนานจึงค่อนข้างต่ำ
    • โมเดลร่าง ขนาดเล็กเสนอ K โทเคนถัดไป และโมเดลเป้าหมายขนาดใหญ่ตรวจสอบด้วยการรันแบบขนานครั้งเดียว แล้วนำ prefix ที่ถูกต้องยาวที่สุดมาใช้
    • output เหมือนกับ decoding ปกติในเชิงคณิตศาสตร์ แต่เร็วขึ้น 2~4 เท่า
    • วิธีอย่าง EAGLE-3 รับโทเคนร่างไว้ มากกว่า 75%

ขั้นตอนที่ 11~14: เครือข่ายที่เข้ามาอยู่ภายในโมเดล

  • ขั้นตอนที่ 11: เครือข่ายเชื่อมต่อแบบ scale-up ของ NVLink

    • โมเดลระดับล้านล้านพารามิเตอร์และโมเดล MoE ที่ไม่สามารถบรรจุใน GPU เดี่ยวได้จะถูกแบ่งไปยัง GPU หลายตัว จึงเกิดการสื่อสารระหว่าง GPU ในทุกเลเยอร์และทุกโทเคน
    • เครือข่ายไม่ได้ทำงานเป็นอุปกรณ์เสริมที่อยู่นอกลูปการถอดรหัส แต่ทำงานอยู่ ภายในลูปการถอดรหัส
    • NVLink 5 ให้แบนด์วิดท์ 1.8TB/s ต่อ GPU ซึ่งมากกว่าลิงก์ PCIe Gen5 ประมาณ 14 เท่า
    • GB200 NVL72 เชื่อมต่อ Blackwell GPU 72 ตัวและ Grace CPU 36 ตัวเข้าเป็นโดเมน NVLink เดียว
    • แบนด์วิดท์รวมอยู่ที่ 130TB/s และหน่วยความจำแบบรวมอยู่ที่ 13.4TB
    • ใช้พลังงานประมาณ 120kW และให้ปริมาณงานอนุมานสูงกว่าคลัสเตอร์ H100 ได้สูงสุด 30 เท่าในโมเดลระดับล้านล้านพารามิเตอร์

  • ปริมาณการสื่อสารที่เกิดจากการทำขนาน

    • Tensor parallelism แบ่งการคูณเมทริกซ์ของแต่ละเลเยอร์ไปยัง GPU หลายตัว จากนั้นต้องรวมผลลัพธ์บางส่วนด้วย all-reduce หลายครั้งในแต่ละโทเคน
    • MoE ส่งโทเคนไปยัง expert ที่กระจายอยู่บน GPU หลายตัว ทำให้การสื่อสารแบบ all-to-all มักกลายเป็นคอขวดหลัก
    • สภาพแวดล้อมการปฏิบัติการของ DeepSeek ใช้ NIC 400Gbps จำนวน 8 ตัวต่อโหนด และใช้ DeepEP ซ้อนทับการสื่อสารระหว่าง expert กับการคำนวณ เพื่อลดการหยุดรอของ GPU

  • ขั้นตอนที่ 12: สวิตช์และการควบคุมความคับคั่ง

    • NVSwitch ในโดเมน scale-up มีพอร์ต NVLink 144 พอร์ตและการสวิตช์แบบ non-blocking 14.4TB/s ทำให้ GPU 72 ตัวสื่อสารพร้อมกันได้ด้วยความเร็วสูงสุด
    • เครือข่าย scale-out ที่ข้ามแร็กใช้สวิตช์อย่าง NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet และ Broadcom Tomahawk 6 ที่ 102.4Tbps
    • เครือข่าย AI ใช้ โทโพโลยีที่ปรับให้เหมาะกับ rail โดยเชื่อม GPU หมายเลขเดียวกันเข้ากับสวิตช์ rail เดียวกัน เพื่อลดจำนวน hop ของการสื่อสารแบบ collective
    • การประมวลผลภายใน fabric เช่น SHARP ทำการ reduce บนสวิตช์
    • เมื่อ GPU หลายพันตัวจบขั้นตอนหนึ่งพร้อมกัน จะเกิด incast ที่ซิงโครไนซ์กัน และความคับคั่งของลิงก์เพียงเส้นเดียวก็ทำให้การสื่อสารแบบ collective ทั้งชุดหยุดได้ ดังนั้น adaptive routing จึงจำเป็น

  • ขั้นตอนที่ 13: NIC และ DPU

    • แพ็กเก็ตที่เคลื่อนที่ระหว่างแร็กจะผ่าน SmartNIC หรือ DPU เช่น NVIDIA BlueField
    • RoCE หรือ InfiniBand verbs ทำให้ GPU ระยะไกลอ่านหน่วยความจำของ GPU อีกตัวได้โดยตรงโดยไม่ผ่าน CPU
    • ความเร็วลิงก์ในปัจจุบันอยู่ที่ 400Gb/s และ 800Gb/s กำลังถูกทำให้เป็นมาตรฐาน
    • DPU จัดการการควบคุมความคับคั่ง การเข้ารหัส การทำเวอร์ชวลไลเซชันของสตอเรจ และการแยกหลายเทนแนนต์แทน host CPU
    • ในคลัสเตอร์ที่ปรับให้เหมาะกับ rail อาจมี NIC เฉพาะต่อ GPU หนึ่งตัว และ DeepSeek จับคู่ GPU 8 ตัวกับ NIC 400Gb/s จำนวน 8 ตัว

  • ขั้นตอนที่ 14: Ethernet และชิ้นส่วนออปติคัล

    • InfiniBand ให้ latency ประมาณ 1~2µs และ fabric แบบ lossless จึงเป็นตัวเลือกดั้งเดิมของคลัสเตอร์ AI ส่วน RoCEv2 Ethernet มี latency ประมาณ 5~10µs จึงถูกมองเป็นตัวเลือกลำดับสอง
    • Ultra Ethernet Consortium ประกาศ UEC 1.0 ซึ่งปรับโครงสร้างสแตก Ethernet สำหรับ AI ในเดือนมิถุนายน 2025
    • Dell’Oro คาดการณ์ว่า Ethernet จะเหนือกว่า InfiniBand ในเครือข่ายแบ็กเอนด์ AI ภายในปี 2027
    • การอนุมานอ่อนไหวต่อต้นทุนและใกล้กับสภาพแวดล้อมแบบหลายเทนแนนต์และองค์กร ทำให้โครงสร้างราคาของ Ethernet และระบบนิเวศแบบเปิดมีความสำคัญ

  • ต้นทุนและพลังงานของชิ้นส่วนออปติคัล

    • ทรานซีฟเวอร์ออปติคัลคิดเป็นประมาณ 60% ของต้นทุนเครือข่าย และประมาณ 45% ของพลังงานเครือข่าย
    • เนื่องจากเครือข่ายคิดเป็นประมาณ 15~18% ของต้นทุนคลัสเตอร์ทั้งหมด ชิ้นส่วนออปติคัลเพียงอย่างเดียวจึงคิดเป็นประมาณ 10% ของต้นทุนรวม
    • โมดูล pluggable 800G ของสวิตช์หนึ่งตัวใช้พลังงานรวมมากกว่า 500W จึงอาจใช้พลังงานมากกว่า switching ASIC
    • ตลาดทรานซีฟเวอร์ออปติคัลสำหรับ AI คาดว่าจะเพิ่มขึ้น 57% จากประมาณ 16.5 พันล้านดอลลาร์ในปี 2025 เป็นประมาณ 26 พันล้านดอลลาร์ ในปี 2026
    • Co-packaged optics (CPO) ย้ายอุปกรณ์ออปติคัลเข้าไปในแพ็กเกจสวิตช์ ลดพลังงานของลิงก์ 1.6T จากประมาณ 30W เหลือ 9W
    • NVIDIA เสนอประสิทธิภาพพลังงานเพิ่มขึ้น 5 เท่าและความยืดหยุ่นเพิ่มขึ้น 10 เท่าในสวิตช์โฟโตนิกส์ที่มีกำหนดเปิดตัวในช่วงครึ่งหลังของปี 2026
    • สำหรับโมเดลที่ใหญ่กว่า GPU เดี่ยว ต้องจัดการช่องว่างแบนด์วิดท์ประมาณ 20~40 เท่า ระหว่าง scale-up ของ NVLink กับ scale-out ของ Ethernet

ขั้นตอนที่ 15: การสตรีมคำตอบและการคิดบัญชี

  • เมื่อสร้างโทเคนสุดท้ายแล้ว detokenization จะแปลง ID จำนวนเต็มกลับเป็นข้อความ
  • คำตอบจะย้อนกลับผ่าน NIC, สวิตช์, load balancer และเกตเวย์ โดยทั่วไปจะสตรีมทีละโทเคนด้วย Server-Sent Events (SSE)
  • ผู้ใช้สามารถเริ่มอ่านได้ตั้งแต่ราว 0.3 วินาทีก่อนคำตอบทั้งหมดเสร็จสมบูรณ์ ทำให้ TTFT ส่งผลอย่างมากต่อความเร็วที่รับรู้
  • สุดท้ายจะคำนวณโทเคนอินพุตแบบทั่วไปหรือที่แคชไว้ และโทเคนเอาต์พุตที่มีราคาแพงกว่า ตามระดับที่กำหนดในขั้นตอนการยืนยันตัวตน แล้วปิดการเรียกเก็บเงิน

ระบบปฏิบัติการการอนุมานที่เรียกว่า disaggregated serving

  • การจัด batch, KV paging, การแยก prefill·decode, การเลือกฮาร์ดแวร์ และการสื่อสารแบบ collective ล้วนเป็นปัญหาของการสเกจูลงานที่มีลักษณะแตกต่างกันในชั้นหน่วยความจำและเครือข่าย เพื่อเพิ่มอัตราการใช้ประโยชน์ของซิลิคอนราคาแพง
  • Disaggregated serving ในปี 2026 แบ่ง prefill ที่เน้นการคำนวณและ decode ที่เน้นแบนด์วิดท์ออกเป็นพูล GPU คนละชุด
  • ขยายและปรับแต่ละพูลได้อย่างอิสระ และสตรีม KV cache ระหว่างสองพูล
  • NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake นำโครงสร้างนี้มาใช้

เหตุผลที่บริษัทคอมไพเลอร์กลายเป็นคลาวด์อนุมาน

  • บริษัทคอมไพเลอร์·เคอร์เนล·ตัวปรับแต่งอัตโนมัติ ไม่ได้ไลเซนส์เทคโนโลยี แต่รันบนอินฟราสตรักเจอร์ของตนเองและขายโทเคน เพื่อเปลี่ยน ความต่างด้านประสิทธิภาพ ให้เป็นอัตรากำไรขั้นต้น
  • หากปรับปรุงเคอร์เนล, การจัด batch, quantization และ speculative decoding ได้ 2 เท่า จำนวนโทเคนที่ขายได้ต่อ GPU ก็เพิ่มขึ้น 2 เท่าเช่นกัน
  • ตัวปรับแต่งอัตโนมัติที่เลือกเคอร์เนลต้นทุนต่ำสุดสำหรับแต่ละชุดของโมเดล·รูปแบบอินพุต·ชิป สร้างรายได้โดยตรงจากอุปกรณ์ GPU ขนาดใหญ่
  • รายได้แบบ annualized ของ Baseten เพิ่มจากประมาณ 200 ล้านดอลลาร์ในเดือนธันวาคม 2025 เป็นประมาณ 600 ล้านดอลลาร์ ในเดือนมีนาคม 2026 เติบโตประมาณ 1,900% เมื่อเทียบกับปีก่อน
    • ระดมทุน 1.5 พันล้านดอลลาร์ที่มูลค่ากิจการ 11,000~13,000 ล้านดอลลาร์
    • มูลค่ากิจการเพิ่มขึ้นจาก 5,000 ล้านดอลลาร์เมื่อ 5 เดือนก่อน
  • ดีลที่ Qualcomm เข้าซื้อ Modular ในมูลค่าประมาณ 3.9 พันล้านดอลลาร์ เป็นกรณีที่บริษัทชิปพยายามรับมือกับ NVIDIA ด้วยคอมไพเลอร์ที่ไม่ขึ้นกับฮาร์ดแวร์

เกณฑ์ในการเลือกผู้ให้บริการ inference

  • เวลาแฝง ต้นทุน ความน่าเชื่อถือ

    • ควรประเมินเวลาแฝงโดยแยกเป็น TTFT ซึ่งกำหนดการเริ่มต้นคำตอบ และเวลาแฝงระหว่างโทเคนซึ่งกำหนดความเร็วในการตอบจนเสร็จ
    • สิ่งสำคัญไม่ใช่ค่ามัธยฐาน แต่คือเวลาแฝงส่วนปลาย p99 ที่สะท้อนการหยุดชะงักซึ่งผู้ใช้พบจริง
    • การ inference ด้วย GPU ทั่วไปใช้เวลาประมาณ 400~600ms สำหรับโทเคนแรก
    • Groq และ Cerebras เสนอ TTFT ต่ำกว่า 100~150ms และความเร็วเอาต์พุตมากกว่า 1,600~2,100 โทเคนต่อวินาทีบนโมเดลระดับ Llama-70B ซึ่งเร็วกว่าสแต็ก GPU ทั่วไปประมาณ 4~6 เท่า
    • ต้นทุนไม่ควรคำนวณจากราคาหน่วยเดียวที่ประกาศไว้ แต่ควรคำนวณเป็น ต้นทุนผสม ที่สะท้อนสัดส่วนอินพุต·เอาต์พุต อัตราการ hit ของแคช และความเป็นไปได้ในการประมวลผลแบบแบตช์
    • เอาต์พุตแพงกว่าอินพุตประมาณ 4~5 เท่า และมักเป็นส่วนหลักของต้นทุนรวม
    • prompt caching ช่วยลดต้นทุนอินพุตได้ 50~90% และระดับการประมวลผลแบบแบตช์มักลดลงประมาณ 50%
    • ราคาช่วงกลางปี 2026 แตกต่างกันเป็นหลักสิบเท่า ตั้งแต่ประมาณ 0.04~0.20 ดอลลาร์ต่อ 1 ล้านโทเคนสำหรับ endpoint โมเดลเปิดที่ปรับต้นทุนให้เหมาะสมอย่าง DeepInfra หรือ Groq ไปจนถึงหลายดอลลาร์สำหรับ frontier model
    • ตัวอย่างราคาของ Groq คืออินพุต 0.15 ดอลลาร์ และเอาต์พุต 0.60 ดอลลาร์
    • ความน่าเชื่อถือต้องวัดไปไกลกว่า SLA ด้าน uptime ธรรมดา ไปถึงความพร้อมใช้งานเชิงฟังก์ชันด้วย
    • Azure OpenAI ให้ SLA 99.9% สำหรับการสร้างโทเคน
    • องค์กรยังต้องการ SLA ด้านเวลาแฝง เช่น TTFT ต่ำกว่า 200ms ใน 99.99% ของการเรียกใช้
    • อัตราการปฏิเสธที่พุ่งสูง การเปลี่ยนเวอร์ชันโมเดลอัตโนมัติที่ทำให้ผลการประเมินแย่ลง และการจำกัด quota เมื่อโหลดสูง อาจทำให้ผลิตภัณฑ์เสียหายได้แม้ยังรักษา uptime ตามประกาศไว้
    • ต้องตรึงเวอร์ชันโมเดล เจรจาเรื่อง capacity และเฝ้าระวังความพร้อมใช้งานเชิงฟังก์ชันโดยตรง

  • เจ็ดเกณฑ์ที่ชี้ขาดความเหมาะสมสำหรับ production

    • throughput และข้อจำกัดคำขอ: เพดานโทเคนต่อนาทีและ headroom ของการประมวลผลแบบฉับพลันจะจำกัดงานขนานและขนาดการขยายของ agent
    • ความปลอดภัยและการปฏิบัติตามข้อกำหนด: SOC 2 Type II, HIPAA, ISO 27001, GDPR เป็นเงื่อนไขพื้นฐานของอุตสาหกรรมที่ถูกกำกับดูแล และเพิ่มทีหลังได้ยาก
    • data locality และการติดตั้งแบบส่วนตัว: การรับประกันว่าไม่เก็บข้อมูล, VPC·BYOC และการรองรับ on-premises เป็นตัวชี้ขาดการอนุมัติจัดซื้อขององค์กร
    • ความกำหนดได้และการควบคุมเวอร์ชัน: seed คงที่และ checkpoint คงที่ช่วยป้องกัน drift ของผลการประเมินจากการเปลี่ยนแปลงอัตโนมัติ
    • ขอบเขตและความสดใหม่ของโมเดล: ความหลากหลายของโมเดล การรองรับ weight เปิดใหม่ในวันเปิดตัว และการโฮสต์ fine-tuning·LoRA เป็นตัวกำหนดความเร็วในการนำโมเดลล่าสุดมาใช้
    • ความยืดหยุ่นในการ deploy: ตัวเลือก serverless, infrastructure เฉพาะ และ self-hosting เป็นตัวกำหนดสมดุลระหว่างต้นทุนกับระดับการควบคุม
    • ความสามารถในการพกพา: API ที่เข้ากันได้กับ OpenAI และการ routing หลายผู้ให้บริการที่สะอาด เป็นเครื่องมือรับมือ outage การเปลี่ยนราคา และการเปลี่ยนโมเดล

คอขวดทางกายภาพที่สะสมมูลค่า

  • แบนด์วิดท์ HBM เป็นตัวกำหนดเพดานของการ decode, โดเมนการขยายขนาดของ NVLink มีความเป็นกรรมสิทธิ์เฉพาะ และชิ้นส่วนออปติกกับพลังงานกลายเป็นอินพุตที่ขาดแคลน
  • ในเงินลงทุน 725,000 ล้านดอลลาร์ มากกว่า 60% ใช้กับไฟฟ้าและอาคาร ดังนั้นตัวชี้วัดสุดท้ายระยะยาวคือ จำนวนโทเคนต่อวัตต์
  • ตลาดเครือข่ายแยกออกเป็นสองทิศทาง
    • เครือข่ายเชื่อมต่อเพื่อ scale-up ยังคงเป็นพื้นที่ปิดและป้องกันได้
    • เครือข่าย scale-out นอกแร็กจะเปิดกว้างและกลายเป็นสินค้าทั่วไป โดยมี Ethernet และ UEC เป็นศูนย์กลาง
    • พื้นที่สร้างความแตกต่างคือโดเมน NVLink, ออปติก·CPO และทรัพย์สินทางปัญญาด้าน congestion control มากกว่าการ switching ทั่วไป
  • margin ของซอฟต์แวร์ inference ถูกกำหนดโดยผลคูณของส่วนต่างประสิทธิภาพ อัตราการใช้งาน และขนาดการปฏิบัติการ และมีเพียงบริษัทที่เปลี่ยน performance ให้เป็นพลังการจัดจำหน่ายและต้นทุนการย้ายได้เท่านั้นที่จะมีเกราะป้องกันท่ามกลางราคาที่ลดลง
  • ธุรกิจที่นำเสนอความเร็วดิบเพียงอย่างเดียวเป็นความได้เปรียบในการแข่งขัน อาจถูกชั้น compiler และเครื่องมือฟรีของ NVIDIA ทำให้ประสิทธิภาพเดียวกันกลายเป็นของทั่วไปได้
  • การขยายขนาดของเศรษฐกิจโทเคนไม่ได้รับประกัน margin สูงโดยอัตโนมัติ และสิ่งที่จะกำหนดความแตกต่างคือ คอขวดด้านหน่วยความจำ·เครือข่ายเชื่อมต่อ·ออปติก·พลังงาน รวมถึงแพลตฟอร์มที่เปลี่ยนประสิทธิภาพให้เป็นการยึดติดของลูกค้า

บทความที่เกี่ยวข้อง

ยังไม่มีความคิดเห็น

ยังไม่มีความคิดเห็น