Anything-LLM - ผู้ช่วย AI เดสก์ท็อปแบบออลอินวันโอเพนซอร์ส

 (github.com/Mintplex-Labs)
34 คะแนน โดย xguru 2024-10-01 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • แอปพลิเคชัน AI แบบฟูลสแต็กที่สามารถสร้าง ChatGPT แบบส่วนตัวได้โดยใช้ LLM เชิงพาณิชย์หรือโอเพนซอร์ส รวมถึงโซลูชันเวกเตอร์ DB
    • โฮสต์ได้ทั้งแบบโลคัลหรือระยะไกล
    • แปลงเอกสารและทรัพยากรทั้งหมดที่คุณมีให้เป็นคอนเท็กซ์ที่อ้างอิงได้
  • เลือก LLM หรือเวกเตอร์ DB ที่ต้องการใช้ได้ และรองรับการจัดการผู้ใช้หลายคนรวมถึงสิทธิ์การเข้าถึง
    • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
  • รองรับมัลติโหมดอล (ทั้ง LLM เชิงพาณิชย์และโอเพนซอร์ส)
  • มีวิดเจ็ตแชตแบบกำหนดเองที่สามารถฝังในเว็บไซต์ของคุณได้ (เวอร์ชัน Docker)
  • แบ่งเอกสารออกเป็นออบเจ็กต์ที่เรียกว่า Workspaces และทำงานแบบคอนเทนเนอร์เสมือนเป็นเธรดเดียว
    • สามารถแชร์ได้ แต่จะไม่สนทนาข้ามกัน จึงคงคอนเท็กซ์แยกระหว่างแต่ละเวิร์กสเปซได้

การแยกส่วนคอมโพเนนต์ภายใน monorepo

  • frontend: ฟรอนต์เอนด์ที่สร้างด้วย viteJS + React
  • server: เซิร์ฟเวอร์ NodeJS express สำหรับจัดการเวกเตอร์ DB และประมวลผลการโต้ตอบกับ LLM
  • collector: เซิร์ฟเวอร์ NodeJS express สำหรับประมวลผลและพาร์สเอกสาร
  • docker: คำสั่ง Docker และข้อมูลเกี่ยวกับกระบวนการบิลด์
  • embed: ซับโมดูลสำหรับสร้างและจัดการวิดเจ็ตฝังเว็บ
  • browser-extension: ซับโมดูลส่วนขยายเบราว์เซอร์ Chrome

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
xguru 2024-10-01

ความคิดเห็นจาก Hacker News

  • กำลังพยายามดีพลอยอินสแตนซ์ AnythingLLM ที่ปรับแต่งแล้วในสภาพแวดล้อมองค์กรอยู่ TimC และทีมพัฒนายอดเยี่ยมมากและตอบสนองรวดเร็ว กำลังรอการรวมเข้ากับ EntraID ซึ่งน่าจะครอบคลุมกรณีการใช้งานพื้นฐานส่วนใหญ่ได้ ขอขอบคุณ TimC และทีม
  • ตอนแรกคิดว่าน่าจะเป็นแค่ตัวครอบ Ollama/WebGenUI แต่จริง ๆ แล้วรองรับความสามารถได้มากกว่านั้นมาก ไม่ได้รองรับแค่ LLM แต่ยังรองรับ embedding model, vector database และ TTS/STT ด้วย รวมทุกอย่างที่จำเป็นสำหรับสร้าง voice chatbot แบบครบถ้วน
  • ดีมาก คิดว่าคำว่า "Language Learning Model" ฟังดูขำ ๆ มีการแซวว่าผู้เขียนน่าจะเริ่มทำโปรเจกต์โดยไม่รู้ว่า LLM ย่อมาจากอะไร
  • ดาวน์โหลดมาลองใช้แล้ว และจนถึงตอนนี้ถือว่าดีมาก ใช้ GPT-4o เพื่ออ่าน PDF ด้านกฎระเบียบ ความเห็นเบื้องต้น:
    • การอ้างอิงยังดูไม่ค่อยแน่นอนนัก คำตอบโดยรวมค่อนข้างแม่นยำ แต่เนื้อหาในหน้าต่างอ้างอิงค่อนข้างชวนสับสนเล็กน้อย
    • อยากให้เพิ่มความสามารถในการค้นหาข้อความภายในแชตที่มีอยู่แล้ว เช่น ถ้าค้นหาเรื่องยีราฟระหว่างแชต ก็อยากให้สลับไปยังประวัติแชตนั้นได้
  • ในฐานะคนที่ไม่รู้ว่า embed หรือ vector คืออะไร นี่เป็นเครื่องมือ AI แบบออฟไลน์เพียงตัวเดียวที่ติดตั้งและใช้งานได้บนพีซีสำนักงานมาตรฐาน
  • ในอนาคต LLM จะกลายเป็นของฟรีและโอเพนซอร์สเหมือน web framework อาจยังมีตัวเลือกแบบเสียเงินอยู่ แต่สำหรับงานส่วนใหญ่ ตัวเลือกฟรีก็น่าจะเพียงพอ
  • เคยตั้งค่า AnythingLLM ในระดับองค์กรแล้ว และประทับใจกับฟังก์ชันส่วนใหญ่มาก อยากให้มีตัวเลือกที่สามารถใส่ custom CSS ได้อย่างเหมาะสม อินเทอร์เฟซเริ่มต้นดูค่อนข้างเก่าไปนิด แต่ก็ขอให้ทำงานดี ๆ แบบนี้ต่อไป
  • ระหว่างติดตั้งบน Linux เจอข้อผิดพลาด แต่แก้ได้ด้วยคำสั่งต่อไปนี้: 
    sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
    นอกเหนือจากนั้นก็ทำงานได้ดีมาก
  • AnythingLLM ทำให้การใช้งาน LLM ทั้งแบบโลคัลและผ่าน API เป็นเรื่องง่ายมาก มีตัวเลือกหลากหลายสำหรับ embedder และ vector store แพ็กเกจเดสก์ท็อปแบบติดตั้งครั้งเดียวทำออกมาได้เรียบร้อยมาก รอฟีเจอร์ใหม่ ๆ ที่กำลังจะมา