RLama - DocumentAI โอเพนซอร์สที่ใช้ Ollama

 (rlama.dev)
1 คะแนน โดย GN⁺ 2025-03-09 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • เครื่องมือถาม-ตอบเอกสารด้วย AI ที่เชื่อมต่อและใช้งานร่วมกับโมเดล Ollama แบบโลคัล
  • สามารถสร้าง จัดการ และโต้ตอบกับระบบ RAG (Retrieval-Augmented Generation) ให้ตรงกับความต้องการด้านเอกสารได้
  • ใช้งานได้บน macOS, Linux และ Windows
  • จัดทำดัชนีโฟลเดอร์เอกสาร: สามารถจัดทำดัชนีโฟลเดอร์เอกสารเพื่อการค้นหาและการสืบค้นอย่างชาญฉลาด และรองรับรูปแบบเอกสารหลากหลาย เช่น ข้อความ โค้ด PDF และ DOCX
  • การประมวลผลแบบโลคัล: ประมวลผลข้อมูลทั้งหมดแบบโลคัลด้วยโมเดล Ollama ทำให้ข้อมูลไม่รั่วไหลออกไปภายนอก
  • เซสชัน RAG แบบโต้ตอบ: สามารถสร้างเซสชันแบบโต้ตอบเพื่อสืบค้นคลังความรู้จากเอกสารได้
  • จัดการได้ง่าย : มีคำสั่งแบบง่ายสำหรับสร้าง แสดงรายการ และลบระบบ RAG
  • เป็นมิตรกับนักพัฒนา: ออกแบบด้วยภาษา Go สำหรับนักพัฒนาและผู้ใช้สายเทคนิค

บทความที่เกี่ยวข้อง

1 ความคิดเห็น

 
GN⁺ 2025-03-09
ความคิดเห็นจาก Hacker News

  • ระบบนี้ส่งเอกสารทั้งฉบับไปยัง Ollama เพื่อขอ embedding โดยไม่แบ่งเอกสารเป็นชังก์ ดังนั้นจึงมีประโยชน์เฉพาะเมื่อเอกสารมีขนาดเล็ก

    • โมเดล embedding bge-m3 มีความยาวซีเควนซ์ 8192 โทเค็น ขณะที่ rlama พยายามทำ embedding ให้ทั้งเล่ม แต่ Ollama ใส่ได้เพียงไม่กี่หน้าแรกในคำขอ embedding
    • ตอนค้นหา ระบบค้นทั้งเอกสารแทนที่จะค้นหาข้อความตอนที่เกี่ยวข้อง แล้วตัดเหลือ 1000 อักขระ ผลคือแม้คำว่า "Buddha" จะปรากฏในเอกสาร 44,121 ครั้ง แต่โมเดลกลับตอบว่า "ไม่มีการกล่าวถึง Buddha โดยตรง"
    • ทางแก้ที่ดีกว่าคือแบ่งเอกสารเป็นชังก์ให้สอดคล้องกับคอนเท็กซ์ของโมเดล embedding แล้วค้นหาชังก์เหล่านั้นพร้อมเมตาดาตา

  • แนะนำให้แสดงผลการค้นหาแก่ผู้ใช้ด้วย แค่เอนจินค้นหาแบบเวกเตอร์ก็มีประโยชน์มากแล้ว

    • ปรับพรอมป์ต์ให้มีการอ้างอิงประกอบด้วย (เช่น อิงจากเมตาดาตาของชังก์อย่างหมายเลขหน้า)

  • ขอชื่นชมโปรเจกต์นี้ พร้อมโน้ตสั้น ๆ บางประการ

    • ประเด็นกังวลหลักสำหรับแอปที่ใช้ระบบไฟล์
      • ใครบ้างที่อ่านได้ และแอปมีการแชร์ข้อมูลหรือไม่
      • ควรมีการบล็อกการเข้าถึงอินเทอร์เน็ตแบบเด็ดขาด และดูว่า rlama ยังทำงานได้ตามปกติหรือไม่
      • แอปสามารถแก้ไข/ลบไฟล์ได้หรือไม่
      • ควรอนุญาตเฉพาะสิทธิ์อ่าน แทนการเข้าถึงทั้งระบบไฟล์

  • หมายเหตุด้านโค้ด: แปลกใจที่ไม่มี .ts (typescript) อยู่ในรายการ

  • เว็บไซต์สะอาดมาก สงสัยว่าเขียนโค้ดเองตั้งแต่ต้นหรือใช้เทมเพลต

  • การทำ RAG ใช้เองนั้นง่ายมาก Ollama มีทูโทเรียลเริ่มต้นแบบรวดเร็วอยู่แล้ว และสามารถปรับกระบวนการให้ตรงกับความต้องการได้

  • ยังสงสัยในประโยชน์ใช้สอยของเครื่องมือแบบนี้ อยากรู้ว่าจะเชื่อถือได้แค่ไหนเมื่อมีปัญหา hallucination และอ้างอิงแหล่งที่มาได้ดีเพียงใด

    • สิ่งสำคัญที่สุดคือการได้ข้อมูลที่ถูกต้อง ฉันใช้เครื่องมือ AI กับงานเขียนโค้ดเป็นครั้งคราว แต่สำหรับอย่างอื่นยังไม่มั่นใจในผลลัพธ์

  • ไม่มีข้อมูลเกี่ยวกับสถาปัตยกรรม/เทคโนโลยีสแต็กของโปรเจกต์นี้ ทั้งใน GitHub README หรือบนเว็บไซต์ก็ไม่มี

    • ชอบที่มันเขียนด้วย Go และมีขนาดเล็กพอจะไล่ดูในช่วงสุดสัปดาห์ได้ แต่เคยเสียเวลากับเครื่องมือใน ecosystem ของ LLM มาแล้ว จึงลังเลที่จะไปไล่โค้ดโดยไม่เห็นข้อมูลพื้นฐานก่อน
    • ถ้ามีภาพรวมระดับสูงของสถาปัตยกรรมโปรเจกต์ ก็น่าจะช่วยให้มีคนรับเอาเครื่องมือนี้ไปใช้มากขึ้น

  • ในฐานะนักประวัติศาสตร์สมัครเล่น ฉันสแกนเอกสารจากคลังเอกสารและเก็บเป็นไฟล์ JPG เลยสงสัยว่าวิธีที่ดีที่สุดในการทำความเข้าใจชุดความรู้นี้คืออะไร

    • ตอนนี้กำลังทำเองด้วย Gemini แต่ไม่แน่ใจว่ามีวิธีแก้ปัญหานี้โดยไม่ต้องสร้างระบบ RAG ตั้งแต่ต้นหรือไม่

  • สงสัยว่าสามารถทำงานร่วมกับ llama.cpp ซึ่งเป็นเอนจินของ Ollama ได้หรือไม่

    • ปกติฉัน build llama.cpp จากซอร์สและดาวน์โหลดโมเดลแบบ quantized จาก Huggingface ไม่เคยใช้ Ollama มาก่อน

  • น่าจะดีถ้ามี API interface เพื่อให้รวมเข้ากับระบบอื่นได้

  • เป็นโปรเจกต์ที่ยอดเยี่ยม สงสัยว่าออกภายใต้ไลเซนส์อะไร เพราะไม่ได้มีการระบุไว้ในเอกสาร

  • อยากรู้ประสิทธิภาพของ RAG แค่โยนเวกเตอร์ดาต้าเบสเข้าไปอย่างเดียวไม่ได้ทำให้มีประโยชน์