SantaCoder - โมเดลสร้างโค้ดที่ฝึกด้วยพารามิเตอร์ 1.1 พันล้านตัว (1.1B)

• โมเดลภาษาหลายภาษาที่ฝึกด้วยโค้ด Python, Java, Javascript
• ระบุว่าทำได้ดีกว่า InCoder (6.7B) ของ Facebook / CodeGen-Multi (2.7B) ของ Salesforce ในงานสร้างแบบ LTR และ Infilling
• ใช้บางส่วนของชุดข้อมูล The-Stack v1.1 (6TB) ที่ BigCode เคยเผยแพร่

[siabard]

ตอนนี้โปรเจ็กต์ AI ต่าง ๆ กำลังเดินหน้ากันหนักมากด้วยพลังของจำนวนพารามิเตอร์ แต่ก็สงสัยเหมือนกันว่าต้องตั้งราคาไว้ประมาณไหนถึงจะการันตีความสามารถในการทำกำไรได้ จะครอบคลุมต้นทุนได้จริงหรือเปล่าถ้าเก็บแบบ CoPilot เดือนละ $10... (แม้จะรู้ว่าการไปกังวลแทนบริษัทใหญ่ ๆ ก็เป็นเรื่องไม่ค่อยมีประโยชน์ก็ตาม... )

[xguru]

GitHub CoPilot มีขนาด 12B ดังนั้นก็บอกกันว่าในแง่คุณภาพของโค้ดที่สร้างขึ้นนั้นมีความแตกต่างจากตัวนี้อยู่พอสมควร