Llama2.c: รันอินเฟอเรนซ์ Llama 2 ในไฟล์ C ล้วน

 (github.com/karpathy)
1 คะแนน โดย GN⁺ 2023-07-24 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • สามารถรันอินเฟอเรนซ์โมเดล Llama 2 ขนาดเล็กได้ด้วย C ล้วน
  • โค้ดนี้ทำให้สามารถฝึกสถาปัตยกรรม Llama 2 LLM ใน PyTorch และบันทึกน้ำหนักเป็นไฟล์ไบนารีดิบได้
  • จากนั้นสามารถโหลดน้ำหนักเข้าไปในไฟล์ C ได้
  • ไฟล์ C สามารถรันโมเดลขนาดค่อนข้างใหญ่ได้ด้วยความเร็วสูงมาก
  • โปรเจ็กต์นี้สร้างขึ้นเป็นโปรเจ็กต์ทำเล่นช่วงสุดสัปดาห์ ไม่ใช่ไลบรารีสำหรับงานโปรดักชัน
  • สามารถดาวน์โหลดโมเดลที่ฝึกไว้ล่วงหน้าแล้วมารันใน C ได้
  • โค้ด C จะสตรีมโทเค็นดิบ และสามารถแปลงเป็นข้อความได้ด้วยแรปเปอร์อย่างง่าย
  • โค้ด C ทำงานได้ที่ความเร็วประมาณ 100 โทเค็นต่อวินาทีบน M1 MacBook Air
  • เอาต์พุตของโค้ด C คือข้อความที่สร้างขึ้นจากโมเดล
  • โปรเจ็กต์นี้มุ่งเน้นที่แอปพลิเคชันเฉพาะ และฝึกสถาปัตยกรรมเดียวกันนี้ขึ้นมาใหม่ตั้งแต่ต้น
  • สามารถดาวน์โหลดชุดข้อมูลต้นฉบับ ทำการโทเค็นไนซ์ล่วงหน้า แล้วฝึกโมเดลได้
  • สามารถปรับไฮเปอร์พารามิเตอร์เพื่อสร้างโมเดลที่ดีขึ้นได้
  • ยังสามารถรันสคริปต์อินเฟอเรนซ์ของ PyTorch เพื่อใช้เปรียบเทียบได้
  • สามารถทำการทดสอบแบบละเอียดได้ด้วยสคริปต์ทดสอบที่ให้มา
  • โปรเจ็กต์นี้ต้องใช้ไฟล์ model.bin และ model.ckpt จากการฝึกด้วย PyTorch
  • ในข้อความมีการกล่าวถึงงานที่ต้องทำและคำถามบางส่วน
  • โปรเจ็กต์นี้เผยแพร่ภายใต้สัญญาอนุญาต MIT

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2023-07-24
ความคิดเห็นจาก Hacker News
  • Andrej ได้รับเงินเดือนจาก OpenAI ขณะเดียวกันก็ช่วยเหลือ Apple, Facebook และขบวนการโอเพนซอร์ส
  • เช็กพอยต์ต้นฉบับทำงานบน MacBook Air M1 ได้เร็วกว่าที่คาดไว้
  • โมเดล 44M ตัวใหม่กำลังอยู่ระหว่างการฝึก
  • โมเดล Llama สามารถรันในเบราว์เซอร์ผ่าน Emscripten ได้
  • LLM แบบรันบนเครื่องเป็นเทคโนโลยีที่น่าสนใจสำหรับการสร้างเว็บแอปเพื่อทำ local inference
  • โค้ดสามารถบิลด์ด้วย WASI SDK ได้อย่างเรียบร้อยและรันบน Wasm runtime ได้
  • ดูรายละเอียดเพิ่มเติมได้จาก Twitter ของ Andrej
  • มีการพูดถึงความต้องการหน่วยความจำที่จำเป็นสำหรับการรันโครงข่ายประสาทเทียม
  • มีการเปิดเผยว่า Llama-2 ไม่สามารถใช้กับงานสร้างสรรค์ได้
  • อุตสาหกรรมอาจมุ่งไปสู่การมีซอร์สโค้ดแยกต่างหากสำหรับโมเดลที่ปล่อยออกมาแต่ละตัว
  • มีการพูดคุยถึงเสน่ห์ของแนวทาง "อยู่ในไฟล์เดียว" หรือ "header-only"
  • มีคอมเมนต์เชิงขำขันเกี่ยวกับการสร้างการทดสอบที่ดีขึ้นเพื่อลดความเป็น yolo