Web LLM - รัน LLM แบบเร่งความเร็วในเบราว์เซอร์ด้วย WebGPU
(github.com/mlc-ai)- รัน LLM อย่าง LLaMA และ Vicuna ในเบราว์เซอร์โดยไม่ต้องมีเซิร์ฟเวอร์ ด้วย WASM
- เร่งความเร็วด้วย WebGPU แต่ยังรองรับแบ็กเอนด์ GPU ที่ Apache TVM รองรับแยกต่างหากด้วย (CUDA, OpenCL, Vulkan)
- ใช้เทคโนโลยี MLC (Machine Learning Compilation)
ยังไม่มีความคิดเห็น