โอเพนซอร์ส - ไคลเอนต์ LLM บนมือถือที่ใช้ Ollama

 (github.com/bipark)
10 คะแนน โดย rtlink 2024-11-23 | 2 ความคิดเห็น | แชร์ทาง WhatsApp

ปีนี้ผมใช้เวลาไปค่อนข้างมากกับงานด้าน LLM-RAG ที่เกี่ยวข้องกับวิดีโอ ระหว่างนั้นก็มีของแถม(?) ออกมาพอสมควร เลยรวบรวมบางส่วนมาทำเป็นแอปและอัปโหลดเป็นโอเพนซอร์ส

เพื่อใช้ทำเดโม ผมต้องการแชต UI ที่ใช้ได้ทั้งแอปและเว็บพร้อมกัน จึงพัฒนาต่อจาก flutter_chat_ui ของ Flutter แต่เสียดายถ้าจะจบแค่เดโม เลยทำต่อเป็นแอปไคลเอนต์ Ollama ที่ใช้งานบนมือถือได้

แม้ ChatGPT และ Claude จะมีประสิทธิภาพดี แต่ถ้าใครกังวลเรื่องค่าใช้จ่ายหรือความปลอดภัย การติดตั้ง Ollama บนคอมพิวเตอร์ของตัวเองแล้วลง LLM ที่เหมาะกับงานเพื่อใช้งาน ก็เป็นอีกทางเลือกที่ดี
ซอร์สเป็น Flutter จึงสามารถบิลด์ไปใช้บน iPhone และโทรศัพท์ Android ได้

แนะนำ

Ollama คือซอฟต์แวร์โอเพนซอร์สที่ช่วยให้สามารถรันโมเดลภาษาขนาดใหญ่ (Large Language Models, LLMs) บนคอมพิวเตอร์ภายในเครื่องได้อย่างง่ายดาย คุณสามารถเชื่อมต่อกับ Ollama และใช้งาน LLM หลากหลายตัวผ่าน MyOllama ได้ MyOllama - เนื่องจากเป็นการรัน LLM บนคอมพิวเตอร์ของตัวเองผ่านโปรแกรม Ollama จึงสามารถสนทนากับโมเดล AI ได้โดยไม่มีค่าบริการเพิ่มเติม

ฟีเจอร์หลัก

  • การเชื่อมต่อ LLM ระยะไกล: เชื่อมต่อกับโฮสต์ Ollama ผ่านที่อยู่ IP
  • Custom Prompt: รองรับการตั้งค่า Instruction แบบกำหนดเอง
  • รองรับ LLM โอเพนซอร์สหลากหลายรุ่น (Llama, Gemma, Qwen, Mistral ฯลฯ)
  • สามารถตั้งค่า Instruction แบบกำหนดเองได้
  • รองรับความสามารถด้านการรู้จำภาพ (เฉพาะโมเดลที่รองรับฟีเจอร์นี้)
  • UI แบบแชตที่ใช้งานเข้าใจง่าย
  • ประวัติการสนทนา: บันทึกและจัดการเซสชันแชต
  • รองรับ iOS และ Android
  • รองรับภาษาไทย, English และ 日本語

วิธีใช้งาน

  • ติดตั้ง Ollama บนคอมพิวเตอร์ (รองรับ macOS, Windows, Linux) สามารถดูวิธีติดตั้งได้ที่ GitHub ของ Ollama
  • ดาวน์โหลดซอร์สมาแล้วบิลด์ด้วย Flutter หรือดาวน์โหลดแอป MyOllama จาก App Store
  • ติดตั้งโมเดลที่ต้องการบน Ollama ดาวน์โหลดโมเดล
  • เปลี่ยนการตั้งค่า Ollama ให้รองรับการเชื่อมต่อจากระยะไกล
  • เปิดแอป MyOllama แล้วกรอกที่อยู่ IP ของคอมพิวเตอร์ที่ติดตั้ง Ollama
  • เลือกโมเดล AI ที่ต้องการแล้วเริ่มสนทนา

ข้อดี

  • แอปนี้ออกแบบมาสำหรับนักพัฒนาและนักวิจัยที่ต้องการใช้งาน LLM โอเพนซอร์สอย่างมีประสิทธิภาพ สามารถนำไปใช้กับการทดลองเชิงเทคนิคได้หลากหลาย เช่น การเรียก API, prompt engineering, การทดสอบประสิทธิภาพของโมเดล เป็นต้น
  • ใช้งานความสามารถ AI ขั้นสูงได้ฟรี
  • รองรับโมเดล LLM ที่หลากหลาย
  • ปกป้องความเป็นส่วนตัว (รันบนคอมพิวเตอร์ภายในเครื่อง)
  • ใช้งานได้หลากหลาย ทั้งการเขียนโปรแกรม งานสร้างสรรค์ และคำถามทั่วไปในชีวิตประจำวัน
  • ออกแบบให้สามารถสนทนาต่อเนื่องตามบริบทได้

ข้อควรระวัง

  • หากต้องการใช้แอปนี้ จำเป็นต้องมีคอมพิวเตอร์ที่ติดตั้ง Ollama
  • ผู้ใช้ต้องรับผิดชอบการตั้งค่าและการจัดการโฮสต์ Ollama เอง โปรดใส่ใจกับการตั้งค่าความปลอดภัย

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
chungjungsoo 2024-11-23

ผมเองก็มีเป้าหมายต่างกัน แต่ก็ทำแอปที่คล้ายกันและกำลังเปิดให้ใช้งานอยู่เหมือนกันครับ และ Ollama เองก็เพิ่งปล่อยอัปเดตที่รองรับสิ่งนี้เมื่อไม่นานมานี้
ดูเหมือนว่าโดยเฉพาะในต่างประเทศจะมีคำขอเกี่ยวกับ Ollama เข้ามาเยอะเลยครับ

https://th.news.hada.io/topic?id=15375
 
rtlink 2024-11-23

ลิงก์ GitHub
https://github.com/bipark/my_ollama_app