OpenLLaMA - รุ่นจำลองแบบเปิดของ LLaMA

 (github.com/openlm-research)
20 คะแนน โดย xguru 2023-05-05 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • รุ่นจำลองของ LLaMA ที่สร้างขึ้นภายใต้ไลเซนส์ Apache เพื่อให้สามารถนำไปใช้ในวัตถุประสงค์อื่นได้
  • ใช้ชุดข้อมูล RedPajama ที่เปิดตัวโดย Together
  • ฝึกด้วย EasyLM ซึ่งเป็นไปป์ไลน์ที่ใช้ JAX เป็นพื้นฐาน
  • เปิดเผย OpenLLAMA 7B ที่อิงกับโทเค็น 200B/300B

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2023-05-05

มีคนนำคำสั่ง "การใช้งาน OpenLLaMA บน llama.cpp + RAM 8GB" ไปโพสต์ไว้ในคอมเมนต์ HN นะครับ
https://news.ycombinator.com/item?id=35798888

  git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && cmake -B build && cmake --build build  
  python3 -m pip install -r requirements.txt  
  
  cd models && git clone https://huggingface.co/openlm-research/open_llama_7b_preview_200bt/ && cd -  
  python3 convert-pth-to-ggml.py models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights 1  
  ./build/bin/quantize models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights/ggml-model-f16.bin models/open_llama_7b_preview_200bt_q5_0.ggml q5_0  
  ./build/bin/main -m models/open_llama_7b_preview_200bt_q5_0.ggml --ignore-eos -n 1280 -p "Building a website can be done in 10 simple steps:" --mlock