IPEX-LLM - ไลบรารี PyTorch สำหรับรัน LLM บน Intel CPU/GPU
(github.com/intel-analytics)- ทำงานบนพื้นฐานของ Intel Extension for PyTorch (IPEX)
- ปรับแต่งและผ่านการตรวจสอบแล้วสำหรับโมเดลมากกว่า 50 รุ่น (LLaMA2, Mistral, Gemma, LLaVa, Whisper เป็นต้น)
- รันได้ด้วยความหน่วงต่ำบน iGPU ภายในเครื่อง หรือ GPU แบบกระจายอย่าง Arc/Flex/Max
- ทำงานร่วมกับ llama.cpp, HuggingFace, LangChain, LlamaIndex เป็นต้น ได้อย่างดี
ยังไม่มีความคิดเห็น