BigCode - โครงการสร้าง AI สำหรับการสร้างโค้ดด้วยโอเพนซอร์ส

 (bigcode-project.org)
10 คะแนน โดย xguru 2022-09-29 | 4 ความคิดเห็น | แชร์ทาง WhatsApp
  • โครงการโอเพนสำหรับสร้าง LLM (Large Language Model) สำหรับซอร์สโค้ด ที่มอบความสามารถคล้ายกับ Codex ของ OpenAI ซึ่งใช้ใน Copilot ของ GitHub
  • มีแผนจะพัฒนาร่วมกันโดย Hugging Face และ ServiceNow R&D
  • เป้าหมายคือการจัดเตรียมชุดข้อมูลในระดับขนาดใหญ่สำหรับฝึกระบบสร้างโค้ด
  • ชุดพารามิเตอร์ขนาด 15 พันล้าน ซึ่งใหญ่กว่า Codex

บทความที่เกี่ยวข้อง

4 ความคิดเห็น

 
xguru 2022-09-29

ไหน ๆ CoPilot ก็มีค่าใช้จ่ายและมีข้อจำกัดหลายอย่างอยู่แล้ว, ก็คงดีถ้ามันจะสร้างความเปลี่ยนแปลงครั้งใหญ่ได้เหมือน Stable Diffusion
 
ffdd270 2022-09-29

ถ้าทำงานบนเครื่อง локал ได้เหมือน Stable Diffusion ก็น่าจะดีนะครับ ยังไงก็ตาม Copilot ก็ยังต้องสื่อสารออกไปภายนอกอยู่ดี (ต่อให้บอกว่าปกป้องความเป็นส่วนตัวของโค้ดได้ดีและมีการเข้ารหัสก็ตาม) และพอมีซอร์สโค้ดรวมอยู่ในการสื่อสารนั้นด้วย ก็เลยรู้สึกไม่ค่อยสบายใจครับ
 
laeyoung 2022-09-29

ก็จริงนะครับ

ในความเป็นจริงมันเป็น LLM (Large Language Model) ก็คงไม่น่าจะรันตรง ๆ บนเครื่องโลคัลได้ แต่ถ้ามีขนาดประมาณที่เอาไปลง on-prem ได้ก็น่าจะใช้งานได้อยู่ ถ้ามี 15 พันล้านพารามิเตอร์ ก็จะเป็นขนาดที่อยู่ระหว่าง GPT-2 (1.5 พันล้าน) กับ GPT-3 (175 พันล้าน) ไม่รู้ว่าจะไหวไหม... เศร้าจัง
 
ffdd270 2022-09-29

ทราบมาว่า GPT-2 น่าจะเคยรันบนเครื่องโลคัลได้ครับ Tabnine ก็อิงจากโมเดลนั้น และเขาก็มีโมเดลแบบโลคัลให้ใช้อยู่ด้วยครับ