ส่วนขยาย Chrome สำหรับรัน Generative AI แบบโลคัลในเบราว์เซอร์

คำอธิบายโปรเจกต์

นี่คือโปรเจกต์ส่วนขยาย Chrome ของ Transformers.js ที่ใช้รันโมเดล Generative AI ด้วย JavaScript

แม้จะมีหลายวิธีในการรันโมเดล Generative AI แบบโลคัล เช่น Ollama หรือ llama.cpp แต่ขั้นตอนการตั้งค่าค่อนข้างยุ่งยาก และยังไม่สะดวกเพราะต้องสลับหน้าจอทุกครั้ง ผู้พัฒนาจึงใช้ Transformers.js เพื่อให้สามารถรันได้ทันทีจากไซด์พาเนลของส่วนขยาย Chrome

หนึ่งในข้อดีของการรันแบบโลคัลคือสามารถใช้งานได้แม้ในสภาพแวดล้อมที่ไม่มีอินเทอร์เน็ต และพบว่ามีประโยชน์มากสำหรับการจัดการงานง่าย ๆ ในสถานที่ที่อินเทอร์เน็ตไม่ดี เช่น บนเครื่องบินหรือที่ตั้งแคมป์

โมเดลที่รองรับ

เนื่องจากใช้ Transformers.js จึงสามารถรันโมเดลจาก Hugging Face ได้เกือบทั้งหมด แต่ขณะนี้รองรับเฉพาะโมเดลด้านล่างเท่านั้น

1. LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
2. Reasoning : DeepSeek R1 (บน MacBook M1 สามารถสร้าง DeepSeek R1 (1.5B) ได้ที่ 30 โทเคน/วินาที)
3. Multimodal LLM : Janus
4. Speech to Text : Whisper

ฟีเจอร์เพิ่มเติม

มีการเพิ่มฟังก์ชัน Summarize และ Rewrite ด้วย เมื่อเลือกข้อความที่มองเห็นในเบราว์เซอร์แล้วคลิกขวาเพื่อเรียกใช้งานส่วนขยาย ก็จะสามารถสรุปข้อความนั้น (Summarize) หรือแปลงเป็นผลลัพธ์จาก LLM (Rewrite) ได้ น่าจะเข้าใจได้ง่ายขึ้นหากดูวิดีโอเดโมด้านล่าง (ช่วง 1 นาที 10 วินาที - 1 นาที 25 วินาที)

วิดีโอเดโม: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s

การใช้งานส่วนขยาย

คุณสามารถบิลด์โปรเจกต์จาก GitHub ได้โดยตรง หรือดาวน์โหลดจาก Chrome Web Store ก็ได้

Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…

[sjssjs1344]

อ่านแล้วครับ
ผมคิดว่าน่าจะต้องระบุให้ชัดเจนว่าไม่ใช่ Deepseek R1 แต่เป็นโมเดลที่ผ่านการ distill มาแล้ว เพราะในเชิงเทคนิคแล้วทั้งสองเป็นคนละโมเดลกันโดยสิ้นเชิง

[tantara]

ขอบคุณสำหรับความเห็นครับ/ค่ะ โมเดล 1.5B ที่ทดสอบเป็นโมเดลที่ผ่านการ distillation ดังนั้นคำว่า Distilled น่าจะเป็นคำที่แม่นยำกว่าครับ/ค่ะ ดูเหมือนว่าจะไม่สามารถแก้ไขบทความได้ ดังนั้นจะนำไปปรับใช้ในการอัปเดตครั้งถัดไปครับ/ค่ะ