Google AI Edge Gallery - แอปแกลเลอรี LLM แบบออฟไลน์เต็มรูปแบบ โอเพนซอร์ส

 (github.com/google-ai-edge)
21 คะแนน โดย xguru 24 일 전 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • แอป iOS/แอนดรอยด์ที่ออกแบบมาเฉพาะสำหรับการรัน Generative AI บนอุปกรณ์ โดยให้ LLM ทำงานได้ในสภาพแวดล้อมที่ ออฟไลน์เต็มรูปแบบและเป็นส่วนตัว โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
  • เพิ่มการรองรับอย่างเป็นทางการสำหรับ ตระกูล Gemma 4 - ทดสอบความสามารถด้านการให้เหตุผล ตรรกะ และการสร้างสรรค์ขั้นสูงได้โดยไม่ต้องส่งข้อมูลไปยังเซิร์ฟเวอร์
  • Agent Skills: ทำให้ LLM เป็นมากกว่าการสนทนาและกลายเป็นผู้ช่วยเชิงรุก
    • ขยายความสามารถของ LLM ด้วยเครื่องมืออย่างการค้นหาข้อเท็จจริงจาก Wikipedia, แผนที่แบบโต้ตอบ, การ์ดสรุปภาพ เป็นต้น
    • รองรับการโหลดสกิลแบบโมดูลาร์จาก URL และการสำรวจสกิลจากชุมชนผ่าน GitHub Discussions
  • Thinking Mode: ดูกระบวนการให้เหตุผลแบบทีละขั้นของโมเดลระหว่างแชตกับ AI ได้ในรูปแบบภาพ (ขณะนี้รองรับเฉพาะบางโมเดล เช่น ตระกูล Gemma 4)
  • Ask Image: ใช้กล้องและแกลเลอรีภาพสำหรับการรู้จำวัตถุแบบหลายโมดัล ปริศนาภาพ และการสร้างคำอธิบายอย่างละเอียด
  • Audio Scribe: ถอดเสียงและแปลเสียงแบบเรียลไทม์ด้วยโมเดลบนอุปกรณ์
  • Prompt Lab: เวิร์กสเปซเฉพาะสำหรับทดสอบพรอมป์ต์ พร้อมปรับพารามิเตอร์อย่างละเอียด เช่น temperature, top-k
  • Mobile Actions : ระบบอัตโนมัติสำหรับควบคุมอุปกรณ์แบบออฟไลน์ โดยอิงจากโมเดล fine-tuned ของ FunctionGemma 270m
  • Tiny Garden : มินิเกมภาษาธรรมชาติ
  • Model Management & Benchmark: รองรับการดาวน์โหลดโมเดลโอเพนซอร์ส การโหลดโมเดลแบบกำหนดเอง และการทดสอบเบนช์มาร์กตามฮาร์ดแวร์
  • LiteRT รันไทม์ขนาดเบา + การเชื่อมต่อกับ Hugging Face สำหรับการค้นหาโมเดลและการรันแบบปรับแต่งประสิทธิภาพ
  • รองรับ Android 12+, iOS 17+ / ติดตั้งได้จาก Google Play , App Store / ในสภาพแวดล้อมที่เข้าไม่ถึง Google Play สามารถ ติดตั้ง APK โดยตรงจาก GitHub Releases ได้เช่นกัน
  • ไลเซนส์: Apache-2.0 / ภาษาในการพัฒนา: Kotlin

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
lastorder 23 일 전

https://github.com/google-ai-edge/gallery/issues/437

ดูเหมือนว่าความเข้ากันได้กับ Exynos จะไม่ค่อยดีนัก บน Galaxy Quantum 5 (A55) มีปัญหาที่ตอบซ้ำอักษรจีนไม่รู้จบอยู่ครับ
 
GN⁺ 24 일 전
ความเห็นจาก Hacker News

  • เป็นโมเดลที่น่าประทับใจมาก ตอนนี้ผมรันบน Mac อยู่ และตอนนี้มันรันแบบโลคัลบน iPhone ได้ด้วย คงต้องลองทดสอบดู
    ผมลองทำ dealignment (ปลดการเซ็นเซอร์) กับโมเดลนี้ด้วยสคริปต์ heretic แล้ว มันทำงานได้ดีมาก เลยทำรีโป gemma4-heretical ไว้รวบรวมด้วยตัวเอง
    ทำเป็นเวอร์ชัน MLX ก็ได้ ซึ่งบน Mac จะเร็วกว่าเล็กน้อย แต่ใช้กับ Ollama ไม่ได้ (แต่อาจใช้กับ LM Studio ได้)
    บน M4 Macbook Pro 128GB มันทำงานได้ดีมาก และน่าจะโอเคบน 64GB ด้วย ถ้าแรมน้อยกว่านี้ต้องลดระดับการ quantize ลง
    ผมชอบโมเดลโลคัลที่ไม่ถูกจัดระเบียบแบบนี้ แทนที่จะโดนเซ็นเซอร์จากแพลตฟอร์มภายนอก เราสามารถทดลองได้อย่างอิสระบนอุปกรณ์ของตัวเอง ทำให้มีบทสนทนาแบบ “อ่อนไหวแต่สร้างสรรค์” ได้
    ผมพยายามต่อเข้ากับ OpenClaw แต่มีปัญหา แน่นอนว่าวิธีเข้าถึงแบบนี้อาจถูกนำไปใช้ผิดทางได้ แต่ผมคิดว่าผู้ใช้ที่มีเจตนาดีมีมากกว่ามาก

    • ผมรันโมเดล MLX บน Mac ด้วย omlx อยู่ และมันทำงานได้ดีมาก
    • ผมเห็นสคริปต์ abliterate แล้ว แต่ไม่แน่ใจว่ามันทำอะไรแน่ เลยสงสัยว่ามันจะเปิดให้เกิดบทสนทนาแบบไหนได้บ้าง
    • ผมลองใช้เขียนโค้ดบน Mac แล้ว แต่ยังไม่ประทับใจเท่า Qwen มันอาจดีกว่าในบางด้าน แต่ตอนนี้ผมยังไม่แน่ใจ
    • ผมยังไม่ได้สร้างอะไรด้วยแพลตฟอร์ม agent skills แต่ก็น่าสนใจมาก บน Android ตัว sandbox จะโหลด index.html ใน WebView และโต้ตอบผ่านสตริง I/O แบบมาตรฐาน มันให้ความรู้สึกเหมือนต้นแบบแรก ๆ ของ edge computing agent sandbox ในอนาคต
    • อยากรู้ว่าคุณมีตัวอย่างไหมว่าจะลองทำ “บทสนทนาที่อ่อนไหว” แบบไหนกับ local LLM

  • แอปนี้เจ๋ง แต่ยังไม่ได้แสดงศักยภาพของโมเดล E2Bออกมาทั้งหมด
    ผมสร้าง AI เสียงและวิดีโอแบบเรียลไทม์ ด้วย Gemma E2B บน M3 Pro และโพสต์ลง /r/LocalLLaMA ในชื่อ Parlor ได้รับเสียงตอบรับค่อนข้างดี
    ตอนนี้ผมรันบน Macbook แต่จากเบนช์มาร์กนี้ ดูเหมือนว่า iPhone 17 Pro ก็ทำได้สบาย

    • Parlor เจ๋งมาก แถมยังปล่อยให้ใช้ฟรีอีก นับว่าเป็นตัวอย่างการใช้งาน local LLM ที่ยอดเยี่ยม

  • ผมลองรันโมเดลบน iPhone แล้วได้ผลค่อนข้างดี ถึงจะสู้ Gemini บนคลาวด์ไม่ได้ แต่ก็ใช้งานได้จริง
    ฟีเจอร์ “mobile action” ทำให้ควบคุมอุปกรณ์ได้ เช่น เปิดไฟฉายหรือเปิดแผนที่ ซึ่งน่าสนใจมาก ถ้าทำงานร่วมกับ Siri Shortcuts ได้จะดีมาก
    ในฐานะคนทำแอปสำหรับครู ผมดีใจมากที่โมเดลโลคัลกำลังแพร่หลาย เพราะกฎหมายคุ้มครองข้อมูลส่วนบุคคลทำให้การรันฝั่งไคลเอนต์เป็นเรื่องสำคัญ แม้ iOS หรือ Chrome จะมี on-device model API อยู่แล้ว แต่คุณภาพยังต่ำ

    • สำหรับผม อาการหลอน (hallucination) ของโมเดลนี้ให้ความรู้สึกเหมือนย้อนกลับไปยุคก่อน ๆ ถึงอย่างนั้นการที่มันรันได้ระดับนี้บนเครื่องโลคัลก็น่าประทับใจ หวังว่าในอนาคตเราจะยังรันโมเดลระดับเมื่อหลายปีก่อนแบบโลคัลได้ต่อไป

  • ผมคิดว่าอนาคตที่เป็นจริงของ AI มีแค่สองทาง — รันฟรีแบบโลคัลบนอุปกรณ์ หรือ บริการคลาวด์ราคาสูง
    แบบหลังจะถูกใช้เฉพาะงานที่มนุษย์ทำแล้วแพงกว่าหรือช้ากว่าเท่านั้น โมเดล Gemma 4 แสดงให้เห็นความเป็นไปได้ของ Siri ยุคอนาคตที่ผสานอยู่ใน iPhone และ macOS เหมือนผู้ช่วยในหนัง “Her”

    • อยากรู้ว่าทำไมคุณถึงคิดว่าคลาวด์จะแพงขึ้น บริษัทใหญ่ ๆ ก็ทำกำไรจากขั้นตอน inference ได้อยู่แล้ว ฮาร์ดแวร์เฉพาะทางบนคลาวด์มีประสิทธิภาพกว่า และถ้ารันบนมือถือก็มีแต่จะกินแบตเตอรี่
    • ถ้าอุปกรณ์ของผู้บริโภครันโมเดลฟรีได้ ผู้ให้บริการคลาวด์ก็น่าจะขายคุณภาพที่ดีกว่าและบริการเสริมเป็นแพ็กเกจได้ไม่ใช่หรือ?
    • ต่อให้รันโมเดลโลคัลบนมือถือที่ผู้ขายควบคุมอยู่ มันก็ไม่ใช่อิสระแบบโลคัลอย่างแท้จริง
    • นี่ไม่ใช่ก้าวแรกของอนาคตที่คุณฝันไว้
    • ผมอยากถามจริง ๆ ว่าหลังจากดู “Her” แล้ว คุณอยากให้อนาคตแบบนั้นเกิดขึ้นจริงหรือเปล่า

  • ขอแชร์ลิงก์แอปเวอร์ชันภาษาอังกฤษ
    Google AI Edge Gallery สำหรับ iOS
    เวอร์ชัน Android
    เป็นแอปเดโมของโปรเจกต์ Edge ของ Google

  • โมเดลส่วนใหญ่ยังอยู่ในสถานะดาวน์โหลดไม่ได้ หวังว่าจะเปิดให้ใช้เร็ว ๆ นี้

  • มีคนตั้งข้อสงสัยว่าหน้าเว็บ App Store ดูเหมือนของปลอม ข้อความส่วนหัวเป็นพิกเซล พื้นหลังกะพริบ และคุณภาพไอคอนก็ต่ำ

    • แม้แต่หน้าเวอร์ชันสหรัฐฯ แบบเดียวกันก็ยังมีคุณภาพงานออกแบบต่ำ ดูเหมือนว่าตอนนี้งานดีไซน์จะไม่ใช่จุดแข็งหลักของ Apple แล้ว
    • เห็นว่ามี /nl/ อยู่ใน URL ก็น่าจะเป็นเวอร์ชันเนเธอร์แลนด์ ส่วนหน้าแรก App Store ดูดีกว่านิดหน่อย แต่ก็ยังแปลก ๆ อยู่ดี
    • น่าจะเป็นปัญหาคุณภาพการแปลท้องถิ่น บน iPhone ของผมถ้าเปิดผ่านแอป App Store จะดูปกติดี
    • บน Firefox ไม่เห็นอาการแบบนี้
    • บน Firefox ของ GrapheneOS เรนเดอร์ได้สมบูรณ์แบบ

  • ผมทดสอบโมเดล Gemma-4-E2B-it บน iPhone 16 Pro แล้วได้ราว 30 โทเคนต่อวินาที เครื่องค่อนข้างร้อน แต่ประสิทธิภาพน่าประทับใจมาก ผมตั้งใจจะนำไปใช้กับแอปของตัวเองด้วย

  • ลูกชายของผมเริ่มใช้โมเดล 2B บน Android แล้ว มันทำงานได้ดีแม้บนมือถือ Motorola ราคาถูก และเขาใช้ฝึกอ่านเขียนภาษาต่างประเทศอยู่ ความเบาของโมเดล น่าทึ่งจริง ๆ

  • โมเดลใหม่ ๆ น่าประทับใจมาก AI Edge Gallery รันบน GPU แต่ NPU ของชิปล่าสุดเร็วกว่าเยอะ
    ตัวอย่างเช่น ชิป A16 มี Neural Engine ที่ 35 TOPS ส่วน GPU อยู่ราว 7 TFLOPS และฝั่ง Qualcomm ก็คล้ายกัน

    • น่าทึ่งมากที่ชิปประหยัดพลังงานแบบนี้ให้ประสิทธิภาพได้ระดับนั้น รอเวอร์ชัน M series อยู่ ดูเหมือนยุคของ TPU ความเร็วสูง บนเดสก์ท็อปและมือถือกำลังจะมาถึงแล้ว