Web LLM - เริ่มรองรับ Llama2 7B/13B

• บริการที่รัน LLM อย่าง Llama, RedPajama และ Vicuna ด้วย WASM บนเบราว์เซอร์ได้โดยไม่ต้องมีเซิร์ฟเวอร์
• เริ่มรองรับ Llama 2 7B/13B
• รองรับ Llama 2 70B ด้วยเช่นกัน แต่ใช้งานได้เฉพาะบน Mac ที่ใช้ Apple Silicon พร้อม RAM 64GB ขึ้นไปเท่านั้น
• เร่งความเร็วด้วย WebGPU

[freejack]

• ผมไม่ได้เชี่ยวชาญ AI มากนัก แต่ลองทดสอบด้วยความอยากรู้อยากเห็นบนพีซีสเปกไม่สูงของตัวเอง - โมเดลแรกของ Chat Demo (สเปกพีซี: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
• ตอนถามครั้งแรกต้องดาวน์โหลดประมาณ 4G และทำการเริ่มต้นระบบ ซึ่งสำหรับสภาพแวดล้อมพีซีของผมใช้เวลาประมาณ 11 นาที
• ทุกครั้งที่ถาม GPU ถูกใช้งานเฉลี่ยมากกว่า 60% และให้คำตอบเหมือนกำลังพิมพ์ช้า ๆ (อึดอัดมากเลยครับ --)
• ลองถามเล่น ๆ ว่า show me the earth picture ดู ก็ให้ URL ของ NASA มาจริง แต่ไม่สามารถดูภาพได้ (Invalid URL)
• แม้จะรู้จำคำถามภาษาเกาหลีได้ แต่คำตอบให้มาเป็นภาษาอังกฤษเท่านั้น

[cosine20]

เพราะใช้ 750Ti น่ะสิ....

[laeyoung]

สิ่งที่ออกมาเป็นผลลัพธ์แบบ URL ดูเหมือนว่าแม้แต่ใน ChatGPT เองก็มักมีกรณีที่เพี้ยนอยู่บ่อย ๆ เหมือนกัน นั่นแหละนะ

[kuroneko]

เห็นแล้วทึ่งมากตอนที่ได้เห็นการรัน Stable Diffiusion บนเว็บ
แล้ว WebGPU จะสามารถรวมศูนย์ GPU API ได้จริงไหมนะ?

[ragingwind]

น่าทึ่งมาก

[xguru]

Web LLM - เริ่มรองรับ Llama2 7B/13B