Google Chrome เพิ่มโมเดล AI Gemini Nano `window.ai` ภายในเบราว์เซอร์

• ตั้งแต่ Chrome เวอร์ชัน 127 เป็นต้นไป สามารถใช้งานโมเดล AI Gemini Nano ในเบราว์เซอร์ผ่าน window.ai ได้
• เว็บไซต์เดโมแชตบอตถูกสร้างขึ้นด้วย Next.js + Vercel AI SDK
• ตัวอย่างการใช้งาน

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
อ้างอิง โมเดลไฟล์ถูกดึงออกมาได้เมื่อไม่นานมานี้

[edunga1]

https://developer.chrome.com/docs/ai/built-in
ถ้าอยากลองใช้ ดูเหมือนว่าต้องยื่นขอสิทธิ์แยกต่างหากนะครับ

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

ความคิดเห็นจาก Hacker News

• เป็นเรื่องดีที่มีฟีเจอร์ซึ่งสามารถนำแนวทาง AI ของ Apple มาปรับใช้กับผู้ใช้เว็บได้ติดตั้งมาเป็นค่าเริ่มต้นในเบราว์เซอร์

  • สามารถใช้โมเดลแบบโลคัลเพื่อเสริมความเป็นส่วนตัวและความปลอดภัยได้
  • ถ้า Google ทำสิ่งนี้ออกมาได้ดี ก็น่าจะน่าสนใจมาก

• Vercel เปิดตัว window.ai พร้อมโชว์ abstraction ของตัวเองแทนการใช้ Chrome API

  • API ของ window.ai เรียบง่ายมากจนไม่จำเป็นต้องมี wrapper
  • โค้ดตัวอย่าง:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• การที่ API ของ Google ไม่สามารถระบุโมเดลได้ถือเป็นข้อบกพร่องใหญ่

  • หากโมเดลถูกอัปเกรดอย่างต่อเนื่อง จะทำให้การทดสอบและการบำรุงรักษายากขึ้น
  • โค้ดที่เสนอ:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• การที่เว็บไซต์ใช้ CPU ของผู้ใช้สำหรับประมวลผล LLM แบบกระจายเป็นเรื่องที่มีปัญหา

• ยังขาดเอกสารสาธารณะเกี่ยวกับ API ของ window.ai

  • ยังไม่ชัดเจนว่าโมเดล Gemini Nano เป็นเวอร์ชันใด

• ด้วยเทคโนโลยีปัจจุบัน โมเดลแบบ instruct มีประโยชน์น้อยกว่าโมเดล base

  • ต้องมีความสามารถอย่างการรัน LoRAs, การปรับอุณหภูมิ, การตั้งค่า prompt template เป็นต้น
  • เทคโนโลยีเปลี่ยนแปลงเร็วมาก จนอาจยังเร็วเกินไปที่จะผนวกเข้ากับเบราว์เซอร์
  • ควรแยกโมเดลออกจากอินเทอร์เฟซ เพื่อให้สามารถใช้โลคัลโมเดลอื่น ๆ ได้ด้วย

• การทำให้เป็นมาตรฐานยังไม่เพียงพอ

  • ต้องการแนวทางแบบเดียวกับ WebNN ของ Microsoft
  • ผู้ขายรายอื่นก็ควรทำให้สิ่งนี้เกิดขึ้น เช่นเดียวกับความพยายามของ Apple ในการเปิดให้ Metal ใช้งานผ่าน WebGPU

• ฟีเจอร์ "Create theme with AI" ของ Chrome แทบไม่ต่างจากการสุ่มเลือกธีม

  • มีแผนจะทำ API ที่สุ่มคืนค่ารูปภาพจาก pixabay

• โมเดลใช้งานทั่วไปจะมีประโยชน์มากขึ้นเมื่อมีขนาดใหญ่ขึ้น

  • โมเดล on-device ที่ปรับจูนละเอียดสำหรับงานเฉพาะจะให้ความแม่นยำมากกว่า

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))