Cloud TPU v5e
- เป็น Cloud TPU ที่คุ้มค่าที่สุด ยืดหยุ่นที่สุด และขยายขนาดได้มากที่สุด พร้อมการผสานรวมกับเฟรมเวิร์กหลักอย่าง Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX และ TensorFlow
- เมื่อเทียบกับ Cloud TPU v4 ให้ประสิทธิภาพการฝึกสำหรับ LLMs และโมเดล gen AI สูงขึ้นได้สูงสุด 2 เท่าต่อดอลลาร์ และประสิทธิภาพการอนุมานสูงขึ้นได้สูงสุด 2.5 เท่า
- รองรับการตั้งค่า virtual machine (VM) ที่แตกต่างกัน 8 แบบ เพื่อให้เลือกคอนฟิกที่เหมาะกับขนาดของ LLM และโมเดล gen AI ที่หลากหลาย
- ด้วยเทคโนโลยี Multislice ผู้ใช้สามารถขยายโมเดล AI ข้ามขอบเขตของ TPU pod ทางกายภาพ ไปยังชิป Cloud TPU v5e หรือ TPU v4 ได้หลายหมื่นชิป
A3 GPU VM
- มาพร้อม NVIDIA H100 Tensor Core GPU สร้างขึ้นมาโดยเฉพาะสำหรับการฝึกและให้บริการเวิร์กโหลด gen AI และ LLMs ที่มีความต้องการสูง และมีกำหนดเปิดให้ใช้งานทั่วไปในเดือนหน้า
- A3 VMs ให้การฝึกที่เร็วขึ้น 3 เท่า และแบนด์วิดท์เครือข่ายสูงขึ้น 10 เท่าเมื่อเทียบกับรุ่นก่อนหน้า พร้อมมอบสเกลและประสิทธิภาพระดับสูง
ยังไม่มีความคิดเห็น