-
มีพื้นฐานบน Transformer
-
เป็นโมเดลขนาดใหญ่ที่สุดที่มีพารามิเตอร์มากกว่ารุ่นอย่าง BERT-Large 340M, RoBERTa 355M, OpenAI GPT-2 1.5b มากกว่า 10 เท่า
-
เป็นไปได้ด้วย DeepSpeed และ ZeRO
แม้แต่ข้อความสรุปในหน้าแนะนำเองก็ว่ากันว่าสร้างโดย Turing-NLG
"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."
ยังไม่มีความคิดเห็น