StarCoder, LLM สำหรับโค้ดที่โครงการ BigCode เปิดตัว
(huggingface.co)- โมเดลขนาด 15.5B ที่ฝึกด้วยโทเคน 1 ล้านล้านโทเคนสำหรับภาษาโปรแกรมมากกว่า 80 ภาษา
- ใช้ MQA เพื่อการสร้างที่มีประสิทธิภาพ และมีหน้าต่างคอนเท็กซ์ 8192 โทเคน
- StarCoderBase: ฝึกด้วยชุดข้อมูล The-Stack v1.2 (6TB) ที่มีข้อมูลจากมากกว่า 80 ภาษา
- StarCoder: โมเดลที่ฝึกเพิ่มเติมสำหรับ Python
- มี Chat Demo และส่วนขยายสำหรับ VSCode
3 ความคิดเห็น
ลิงก์งานวิจัยที่อยู่ในโพสต์ประกาศบน Twitter ครับ :)
https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view
มีการเปิดให้ใช้งานได้ทันทีบน HuggingFace Chat ด้วยเหมือนกันนะครับ :)
https://huggingface.co/chat/?model=bigcode/starcoder
SantaCoder - โมเดลสร้างโค้ดที่ฝึกด้วยพารามิเตอร์ 1.1 พันล้าน (1.1B)