สรุป Google Web AI Summit 2024: AI ฝั่งไคลเอนต์สำหรับนักพัฒนา

• เมื่อวันที่ 18 ตุลาคม 2024 Google ได้จัดงาน Web AI Summit ครั้งแรก
• ฝั่งไคลเอนต์สามารถใช้โมเดลแมชชีนเลิร์นนิงภายในเบราว์เซอร์เพื่อมอบความสามารถอย่างการอนุมานแบบหน่วงต่ำแม้ออฟไลน์ การลดต้นทุน และการคุ้มครองความเป็นส่วนตัว

สรุปเซสชันประกาศสำคัญ

• Transformers.js: แมชชีนเลิร์นนิงสมัยใหม่สำหรับเว็บ

  • Transformers.js เป็นไลบรารี JavaScript ที่มีความสามารถเทียบเท่ากับไลบรารี Python Transformers ของ Hugging Face และสามารถใช้งานบนเว็บได้โดยตรง
  • รองรับโมเดลที่ผ่านการฝึกล่วงหน้ามากกว่า 1,000 โมเดล ครอบคลุมงานและโมดาลิตีที่หลากหลาย เช่น ข้อความ รูปภาพ และเสียง
  • ผู้ใช้สามารถเลือกโมเดลที่ผ่านการฝึกล่วงหน้า หรือรันโมเดลแบบกำหนดเองได้โดยตรงในเบราว์เซอร์
  • ด้วยการรองรับ WebGPU จึงสามารถใช้ความสามารถของ GPU สมัยใหม่เพื่อรันโมเดลได้อย่างรวดเร็วและมีประสิทธิภาพ

• Web Neural Network (WebNN) API: ปัจจุบันและอนาคต

  • WebNN API เป็น API ใหม่ที่ถูกเสนอเป็นมาตรฐานเว็บ เพื่อใช้เป็นเครื่องมือสำหรับรันงานแมชชีนเลิร์นนิงฝั่งไคลเอนต์ได้อย่างรวดเร็วและมีประสิทธิภาพ
  • ใช้ WebAssembly และ WebGPU เพื่อมอบความสามารถเร่งความเร็ว AI ภายในเบราว์เซอร์
  • รองรับตัวเร่งฮาร์ดแวร์อย่าง CPU, GPU และ NPU เพื่อให้สามารถรันงาน AI บนอุปกรณ์ที่หลากหลายได้
  • ครอบคลุมการอัปเดตล่าสุดของ API การรองรับอุปกรณ์ ความเข้ากันได้กับเฟรมเวิร์ก และการนำไปใช้ในเบราว์เซอร์

• เทคโนโลยี Web AI PC ของ Intel

  • Intel ใช้ WebNN API เพื่อมอบการเร่งความเร็ว Web ML ฝั่งไคลเอนต์ ทำให้สามารถรันได้ประสิทธิภาพสูงบน CPU, GPU และ NPU
  • ขณะนี้เปิดให้ใช้งานในเวอร์ชัน developer preview บนเบราว์เซอร์ Chrome และ Edge
  • ผสานรวมกับ ONNX Runtime Web จึงสามารถใช้งานได้กับเฟรมเวิร์กแมชชีนเลิร์นนิงหลากหลายตัว
  • ผ่านเดโมและฟีดแบ็กจากผู้ใช้กลุ่มแรก แสดงให้เห็นประสิทธิภาพที่ “ใกล้เคียง native” และสาธิตความเป็นไปได้ของประสบการณ์เว็บรูปแบบใหม่

• ml5.js: แมชชีนเลิร์นนิงที่เป็นมิตรกับเว็บ

  • ml5.js เป็นไลบรารีโอเพนซอร์สที่สร้างบน TensorFlow.js และออกแบบมาเพื่อทำให้แมชชีนเลิร์นนิงเข้าถึงได้ง่ายขึ้น
  • มีอินเทอร์เฟซที่เรียบง่ายและใช้งานได้อย่างเป็นธรรมชาติสำหรับศิลปิน ครีเอทีฟโค้ดเดอร์ และนักเรียน
  • สืบทอดแนวคิดจาก p5.js และ Processing เพื่อเพิ่มการเข้าถึงของโค้ดและทำให้กระบวนการเรียนรู้ง่ายขึ้น
  • มีความสามารถหลากหลาย เช่น การรู้จำภาพ การวิเคราะห์ข้อความ และการประมาณท่าทาง ซึ่งผู้เริ่มต้นก็ใช้งานได้ง่าย

• WebLLM: เอนจินอนุมาน LLM ประสิทธิภาพสูงในเบราว์เซอร์

  • WebLLM เป็นเอนจินอนุมานประสิทธิภาพสูงที่สามารถรัน large language model (LLM) ได้โดยตรงในเบราว์เซอร์
  • ใช้การเร่งความเร็วด้วย GPU ผ่าน WebGPU เพื่อมอบประสิทธิภาพการอนุมานที่รวดเร็ว
  • การคำนวณทั้งหมดเกิดขึ้นฝั่งไคลเอนต์ ช่วยเสริมความเป็นส่วนตัวและไม่ต้องมีการตั้งค่าเพิ่มเติม
  • มีอินเทอร์เฟซสไตล์ OpenAI API ทำให้ผสานรวมแบบมาตรฐานได้ และรองรับกรณีใช้งานหลากหลาย เช่น แอปแชต และการสร้าง JSON แบบมีโครงสร้าง

• การปรับปรุงแอปพลิเคชัน LLM ในเบราว์เซอร์ด้วย LangChain

  • LangChain เป็นเฟรมเวิร์กสำหรับพัฒนาแอปพลิเคชันที่ใช้ LLM ขนาดเล็กซึ่งทำงานในเบราว์เซอร์
  • เพื่อก้าวข้ามข้อจำกัดของโมเดลขนาดเล็ก จึงใช้ LangGraph.js ในการออกแบบแอปพลิเคชันแบบอิงสถานะและมอบเทคนิคพรอมป์ต์ที่ปรับให้เหมาะสม
  • นำเสนอแนวทางในการใช้ประโยชน์จากข้อดีของ local LLM เช่น ความหน่วงต่ำและความเป็นส่วนตัว พร้อมทั้งแก้ปัญหาด้านประสิทธิภาพที่มีข้อจำกัด

• Visual Blocks: การสร้างต้นแบบ AI pipeline แบบภาพ

  • Visual Blocks เป็นแพลตฟอร์มการเขียนโปรแกรมแบบภาพที่ช่วยให้สร้างต้นแบบ AI pipeline ได้อย่างรวดเร็วผ่านอินเทอร์เฟซลากและวางที่เรียบง่าย
  • สามารถทำ data augmentation และทดสอบแบบเรียลไทม์ได้ พร้อมทั้งพัฒนาโซลูชันเชิงสร้างสรรค์ผ่าน custom node และ pipeline ที่หลากหลาย
  • สาธิตแอปพลิเคชัน AI หลายรูปแบบ เช่น กราฟิกเชิงโต้ตอบ LLM chain คอมพิวเตอร์วิทัศน์ และโซลูชันมัลติโหมด
  • ต้องการสร้าง ecosystem ของ ML pipeline ที่สมบูรณ์ยิ่งขึ้นผ่านการส่งเสริมการมีส่วนร่วมจากชุมชน

• ภาพรวมความสามารถ AI แบบบิวต์อินของ Chrome

  • แบ่งปันสถานะปัจจุบันและฟีดแบ็กจากผู้ใช้กลุ่มแรกของ Prompt API และ high-level task API เช่น การสรุปและการเขียนข้อความใหม่
  • อธิบายแอปพลิเคชันหลากหลายที่ใช้ความสามารถ AI แบบบิวต์อินของ Chrome รวมถึงแผนในอนาคต
  • แนะนำการปรับแต่งและการปรับปรุง API เพื่อให้ได้ประสิทธิภาพสูงและความเสถียรในการทำงาน

• TensorFlow.js และกรณีใช้งานในอุตสาหกรรมสินค้าอุปโภคบริโภค

  • กรณีศึกษาของบริษัทสินค้าอุปโภคบริโภครายใหญ่ในบราซิลที่ใช้ TensorFlow.js เพื่อปรับปรุงกลยุทธ์การตลาดภายในร้านค้า
  • ใช้เทคโนโลยี AI เพื่อระบุและวิเคราะห์สินค้าแบบเรียลไทม์
  • โครงการนี้เปิดซอร์สแล้ว ทำให้บริษัทอื่นสามารถนำไปใช้ได้ และยังขยายไปสู่กรณีประยุกต์ใช้งานในอุตสาหกรรมอื่น ๆ

• ประสบการณ์ใช้งานบิวต์อิน API ของ Chrome

  • อธิบายประสบการณ์ในการพัฒนาแอปพลิเคชัน AI ด้วย API ของ Chrome และบทเรียนที่ได้รับ
  • แนะนำเทคนิคการปรับประสิทธิภาพของแอปที่ขับเคลื่อนด้วย AI และการปรับแต่งพรอมป์ต์
  • ผ่านกรณีของแอป Synonym Finder ได้แบ่งปันวิธีใช้ Prompt API อย่างยืดหยุ่นและเคล็ดลับเชิงปฏิบัติ

• ศักยภาพของ AI สำหรับส่วนขยายเว็บ

  • ส่วนขยาย Chrome สามารถควบคุมเบราว์เซอร์ สังเกตเนื้อหาเว็บ และเพิ่ม UI ได้ จึงมอบความสามารถในการขยายที่มีประโยชน์เมื่อผสานกับฟังก์ชัน AI
  • อธิบายตัวอย่างส่วนขยายที่ใช้ AI ซึ่งมีอยู่ในเว็บสโตร์ในปัจจุบัน และความเป็นไปได้ในอนาคต
  • แนะนำวิธีผสาน AI เข้ากับส่วนขยาย Chrome เพื่อปรับปรุงประสบการณ์การท่องเว็บและเพิ่มประสิทธิภาพการทำงาน

• พลิกโฉมการเข้าถึงการดูแลสุขภาพด้วย WebAI

  • ด้วยเทคโนโลยี WebAI ทำให้ IncludeHealth สามารถให้บริการกายภาพบำบัดแบบเสมือนจริง ช่วยให้ผู้ป่วยได้รับการรักษาเฉพาะบุคคลได้ทุกที่ทุกเวลา
  • ช่วยทลายอุปสรรคด้านต้นทุนและการเข้าถึง เปิดโอกาสให้ผู้ป่วยจำนวนมากขึ้นได้รับการรักษา
  • ใช้ข้อมูลเฉพาะบุคคลเพื่อมอบการรักษาที่แม่นยำและมีประสิทธิผลยิ่งขึ้น

• Simple ML สำหรับ Google Sheets

  • Simple ML ซึ่งให้บริการเป็นส่วนเสริมของ Google Sheets ช่วยให้ผู้ใช้สามารถทำงานแมชชีนเลิร์นนิงได้โดยตรงภายในสเปรดชีต
  • ใช้ WebAssembly, JavaScript และ AI แบบบิวต์อินของ Chrome เพื่อทำงานแมชชีนเลิร์นนิงที่ซับซ้อนได้อย่างง่ายดาย
  • รองรับให้นักพัฒนาคนอื่นสามารถพัฒนาโซลูชัน ML ของตนเองได้อย่างง่ายดายผ่านไลบรารีโอเพนซอร์ส

[brain1401]

ชอบ JS