MS และ Nvidia เปิดตัว MT-NLG 530B โมเดลภาษาที่ใหญ่ที่สุดในโลก

• Megatron-Turing Natural Language Generation

• มีพารามิเตอร์ 530 พันล้านตัว ใหญ่กว่า GPT-3 ที่มี 175 พันล้านตัว

• แสดงความแม่นยำในระดับที่เทียบกับของเดิมไม่ได้

→ เช่น การเติมประโยคให้สมบูรณ์ ความเข้าใจ การให้เหตุผลเชิงสามัญสำนึก และการอนุมานภาษาธรรมชาติ

• 105 เลเยอร์ บนพื้นฐาน Transformer

• NVIDIA A100 Tensor Core GPU และระบบเครือข่าย HDR InifiniBand

• ใช้ซูเปอร์คอมพิวติ้งคลัสเตอร์ NVIDIA Selene และ Microsoft Azure NDv4