Code Llama - โมเดลภาษาขนาดใหญ่ล้ำสมัยสำหรับการเขียนโค้ด

• Meta เปิดตัว Code Llama ซึ่งเป็นโมเดลสำหรับการเขียนโค้ดโดยเฉพาะที่สร้างขึ้นบนพื้นฐานของ Llama 2.
• สามารถสร้างโค้ดได้จากทั้งโค้ดและพรอมป์ต์ภาษาธรรมชาติ และจากผลเบนช์มาร์กภายในพบว่าประสิทธิภาพเหนือกว่า ChatGPT.
• เปิดตัวโมเดลขนาด 7B, 13B และ 34B ที่ฝึกด้วยโทเค็นโค้ด 5 แสนล้านโทเค็นและข้อมูลที่เกี่ยวข้อง.
• รองรับคอนเท็กซ์โทเค็นสูงสุด 100,000 โทเค็น จึงเหมาะกับการเขียนโปรแกรมที่ยาวขึ้น หรือป้อนเงื่อนไขที่ละเอียดและโค้ดจริงเป็นพรอมป์ต์ได้สะดวก.
• นอกจากโมเดลต้นฉบับแล้ว Code Llama ยังเปิดตัวเพิ่มเติมอีก 2 รุ่นย่อย.
  • Code Llama - Python: โมเดลที่ปรับจูนเพิ่มด้วยโทเค็นโค้ด Python อีก 1 แสนล้านโทเค็น.
  • Code Llama - Instruct: โมเดลที่ปรับจูนด้วยโทเค็นคำสั่ง 5 พันล้านโทเค็น และปรับให้เหมาะกับอินพุตภาษาธรรมชาติและเอาต์พุตเป็นโค้ด.
    • โมเดลอื่นไม่ได้เหมาะกับภาษาธรรมชาติโดยตรง ดังนั้นหากต้องการสร้างโค้ดผ่านภาษาธรรมชาติควรใช้รุ่นนี้.
• ผลการวัดประสิทธิภาพของโมเดลผ่าน HumanEval และ MBPP แสดงให้เห็นว่ามีความสามารถเทียบเท่าหรือสูงกว่า ChatGPT (GPT 3.5).
  • เมื่อ GPT 3.5 ทำคะแนน HumanEval ได้ 48.1% นั้น Code Llama - Python ทำได้ 53.7%.
  • ส่วน GPT 4 ยังนำอยู่ที่ 67% จึงยังมีช่องว่างให้พัฒนาอีกมาก.
• มีการเพิ่มมาตรการความปลอดภัยหลายอย่างเพื่อลดความเสี่ยงที่ Code Llama จะสร้างมัลแวร์ได้.
  • จากการทดสอบจริงพบว่าสร้างโค้ดอันตรายได้น้อยกว่า ChatGPT.

[xguru]

ดูเหมือนว่าไลเซนส์จะเหมือนกับ Llama นะ ถ้า MAU เกิน 700 ล้านคน ต้องขอไลเซนส์ก่อน
แต่บริษัทเกาหลีน่าจะไม่มีปัญหาใหญ่อะไร 555

[kuroneko]

• บทความวิจัย
• ที่เก็บ Github
• ดาวน์โหลดโมเดล

เปิดตัวภายใต้ไลเซนส์เดียวกับ Llama 2
ก่อนหน้านี้ก็รู้สึกว่า StarCoder ยังขาดอะไรไปนิดหน่อย แบบนี้ในที่สุดก็มีทางเลือกแทน Copilot จริง ๆ แล้วหรือเปล่า?

ไม่ว่าอย่างไร พอมาคิดแบบนี้ก็ยิ่งรู้สึกว่า GPT 4 มีประสิทธิภาพที่ยอดเยี่ยมมากจริง ๆ
ทั้งรองรับภาษาเกาหลีได้ดี และในเบนช์มาร์กก็ออกมาว่า GPT 4 มีประสิทธิภาพสูงกว่ามาก...

แม้แต่ GPT 3.5 ก็ยังเหนือกว่าโมเดลแบบเปิดอื่น ๆ อย่างชัดเจนในภาษาเกาหลี

หวังว่าจะมีโมเดลโอเพนซอร์สสำหรับสร้างโค้ดที่ทำงานกับภาษาเกาหลีได้เกิดขึ้นด้วย