OPT - โมเดลภาษาขนาด 175B ระดับเดียวกับ GPT-3 ที่ Meta เปิดเผย

"Open Pre-trained Transformer Language Model"

• โมเดลภาษาขนาดใหญ่ลักษณะนี้ต้องใช้เงินทุนจำนวนมากในการสร้างขึ้นมา และหากเปิดให้เข้าถึงแค่ผ่าน API ก็ทำวิจัยได้ยาก
• เพื่อให้นักวิจัยที่สนใจใช้งานได้ Meta จึงเปิดให้ดาวน์โหลดได้ทั้งหมดทั้งตัวโมเดลเต็ม โค้ดสำหรับการทดลอง และล็อกบุ๊ก
• ใช้ Carbon Footprint เพียง 1/7 เมื่อเทียบกับ GPT-3

[xguru]

https://github.com/facebookresearch/metaseq