Code Alpaca - LLaMA ที่ฝึกด้วยคำสั่งสำหรับการสร้างโค้ด
(github.com/sahil280114)- โมเดลที่ปรับแต่งบนพื้นฐาน Stanford Alpaca 7B/13B ให้เหมาะสำหรับนักพัฒนาใช้ทำงานด้านการเขียนโค้ด
- เปลี่ยนเป็นชุดข้อมูล Instruction Following ขนาด 20K ที่เกี่ยวข้องกับการสร้างโค้ด (ใช้เทคนิค Self-Instruct)
- ปรับบางส่วนของไปป์ไลน์การสร้างข้อมูล: เปลี่ยนพรอมต์ให้เกี่ยวข้องกับการสร้าง/แก้ไข/เพิ่มประสิทธิภาพโค้ด แทนงานทั่วไป
- ปรับจูนเพิ่มเติมด้วยโค้ดฝึกของ Hugging Face และ Deepspeed
ยังไม่มีความคิดเห็น