9 คะแนน โดย xguru 2024-02-22 | 1 ความคิดเห็น | แชร์ทาง WhatsApp
  • LlamaCloud: บริการแยกวิเคราะห์ การรับเข้า และการค้นหาที่จัดการแบบรุ่นใหม่ ออกแบบมาเพื่อให้การเสริมบริบท (Context-Augmentation) ระดับ production แก่แอปพลิเคชัน LLM และ RAG
    • LlamaParse: เทคโนโลยีสำหรับแยกวิเคราะห์เอกสารที่ซับซ้อนที่มีวัตถุเช่นตารางหรือกราฟอยู่ภายใน ทำให้สามารถสร้างการค้นหาสำหรับเอกสารที่ซับซ้อนและกึ่งโครงสร้างได้เมื่อเชื่อมต่อกับ LlamaIndex
    • API การรับเข้าและการค้นหาที่จัดการได้: ให้ API ที่สามารถโหลด ประมวลผล และเก็บข้อมูลได้ง่าย และใช้งานได้กับภาษาใดก็ได้ โดยทำงานบนพื้นฐานของ LlamaHub, LlamaParse และคลังข้อมูลที่รวมเข้าไว้ด้วยกัน

RAG ขึ้นอยู่กับคุณภาพของข้อมูล

  • แก่นของ LLM คือการทำให้การค้นหา การสังเคราะห์ การสกัด และการวางแผนบนแหล่งข้อมูลที่ไม่เป็นโครงสร้างเป็นอัตโนมัติ
  • เพื่อบรรลุสิ่งนี้ จึงเกิดสแต็กข้อมูลใหม่ที่โหลด ประมวลผล สร้าง embedding และโหลดลง vector database ในแนวคิด Retrieval-Augmented Generation (RAG)
  • สแต็ก RAG แตกต่างจากสแต็ก ETL แบบดั้งเดิม และมีผลโดยตรงต่อความแม่นยำของระบบ LLM
  • การเริ่มต้นใช้งานทำได้ง่าย แต่การสร้าง RAG ระดับ production นั้นทำได้ยาก
    • ไม่สามารถสร้างผลลัพธ์ที่น่าพอใจได้
    • มีจำนวนพารามิเตอร์ที่ต้องปรับจูนมากเกินไป
    • PDF มีรูปแบบการจัดวางที่ไม่เป็นระเบียบ โดยเฉพาะอย่างยิ่ง
    • การซิงค์ข้อมูลที่มีการอัปเดตอย่างต่อเนื่องทำได้ค่อนข้างยาก
  • LlamaCloud และ LlamaParse ถูกสร้างขึ้นเป็น data pipeline เพื่อช่วยให้นำแอปพลิเคชัน RAG เข้าสู่ production ได้เร็วขึ้น

LlamaParse

  • LlamaParse คือพาร์เซอร์ล้ำสมัยที่ช่วยให้ตีความตารางและแผนภูมิที่ฝังอยู่ในเอกสาร PDF ที่ซับซ้อนได้ในเชิง RAG
  • ทำให้สามารถตอบคำถามเกี่ยวกับเอกสารที่ซับซ้อนได้ ซึ่งไม่สามารถทำได้ด้วยแนวทางแบบเดิม

API การรับเข้าและการค้นหาที่จัดการได้

  • อีกหนึ่งสินค้าเด่นของ LlamaCloud ที่ทำให้สามารถกำหนดสแต็กข้อมูลที่มีประสิทธิภาพสูงได้อย่างง่าย และส่งข้อมูลสะอาดให้กับแอปพลิเคชัน LLM
  • มอบข้อดีทั้งการประหยัดเวลาด้านวิศวกรรม การยกระดับประสิทธิภาพ และการลดความซับซ้อนของระบบ

พันธมิตรและผู้ร่วมงานในการเปิดตัว

  • LlamaParse ร่วมมือกับพันธมิตรหลากหลายราย เพื่อสร้างความร่วมมือด้านการจัดเก็บข้อมูลและการคำนวณใน ecosystem ของ LLM และ AI กับ DataStax, MongoDB, Qdrant และ NVIDIA

FAQ

  • LlamaCloud ไม่ได้แข่งขันกับ vector database แต่เน้นที่การแยกข้อมูลและรับเข้าข้อมูลโดยตรง โดยเชื่อมต่อกับ vector DB ยอดนิยมมากกว่า 40 ตัว
  • ชั้นการค้นหาเป็น orchestration ที่อยู่เหนือระบบจัดเก็บข้อมูลเดิม

ขั้นตอนถัดไป

  • LlamaParse เปิดให้ใช้งานแบบ public preview ตั้งแต่วันนี้ และ LlamaCloud เปิดให้เข้าถึงแบบ private preview กับ partner องค์กรที่คัดเลือกแบบจำกัด

1 ความคิดเห็น

 
xguru 2024-02-22

ความคิดเห็นจาก Hacker News

  • ในฐานะที่เป็นส่วนหนึ่งของทีมพัฒนา LlamaParse ซึ่งมีประสบการณ์ในการพัฒนาตัวแปลง PDF เป็นข้อความโครงสร้างหลายตัวมาก่อน พบว่า LlamaParse มีส่วนที่ดีขึ้นเมื่อเทียบกับตัวแปลงอื่น ๆ โดยผสมผสานการสกัดตัวอักษรด้วย OCR และการสกัดข้อความจาก PDF เข้าด้วยกัน และใช้ heuristics ร่วมกับโมเดลแมชชีนเลิร์นนิงเพื่อสร้างโครงสร้างเอกสารใหม่ เมื่อผสมกับกลยุทธ์การค้นหาแบบ recursive จึงได้ผลลัพธ์ดีที่สุดในงานตอบคำถามสำหรับข้อความที่ซับซ้อน.

  • LlamaParse ได้พัฒนาบริการแปลงข้อมูลแบบเอกสิทธิ์ที่เก่งมากในการพาร์ส PDF ที่มีตารางซับซ้อนให้อยู่ในรูปแบบ Markdown ที่มีโครงสร้างดีมาก คาดว่าเป็นปัญหาไหมเมื่อโครงการโอเพนซอร์สได้รับความสนใจและการมีส่วนร่วมจากชุมชน แล้วผู้นำโครงการก็รับเงินทุน VC และสร้างสิ่งที่เป็นเอกสิทธิ์ขึ้นมา?

  • ไม่เข้าใจว่าทำไมจึงโพสต์บน Medium Medium ตอนนี้อ่านลำบากและไม่สามารถเข้าถึงได้ ต้องมีโพสต์บล็อกที่ผู้ชมเข้าถึงได้

  • อยากรู้ว่า LlamaParse เปรียบเทียบกับ unstructured.io โดยตรงได้อย่างไร

  • ประสบการณ์แรก ๆ กับ LlamaParse ไม่ได้สร้างความประทับใจ ทั้งปัญหา redirect วนไม่จบตอนสมัครด้วยอีเมล และความผิดหวังที่เจอหลังล็อกอินด้วย Google ในเรื่อง PDF parser จึงสับสนว่าทำไมต้องมีบริการนี้ ทั้งที่มีตัวเลือกมากมายอยู่แล้ว

  • LlamaParse ดูเหมือนจะพยายามแก้ปัญหาที่ยากลำบาก หลายบริษัทลูกค้าต้องการแปลงไฟล์ PDF และแยกข้อมูลอย่างแม่นยำ อินเทอร์เฟซค่อนข้างยุ่งยาก LlamaParse อาจดึงตัวเลขจากตารางได้ แต่ดูเหมือนว่าผลลัพธ์ไม่ได้แสดงเป็นตาราง และดูเหมือนว่าเข้าถึงตัวเลขได้ผ่านการถาม-ตอบเท่านั้น

  • มันไม่เหมือนกับที่ AWS Textract ทำหรือ? ตัวบริการนี้สามารถแปลงและสืบค้นข้อมูลจากตารางและแบบฟอร์มได้ สำหรับ LI แล้วก็ทำให้การทำงานของ workflow และ RAG เพื่อค้นหาง่ายขึ้นสำหรับผู้ใช้ แต่ยังสงสัยว่าทำไมต้องคิดค้นล้อใหม่อีกครั้ง

  • ทำไมถึงสร้างสิ่งนี้ขึ้นมา ทั้งที่สามารถใช้ LLMs เพื่อแยกข้อมูลออกมาในรูปแบบที่เหมาะสมที่สุดได้ตั้งแต่ต้น ต้นทุนอาจทำให้มีเหตุผลในระยะสั้น แต่ในระยะยาว มันเป็นปัญหาที่ LLMs แก้ได้โดยทั่วไป

  • LlamaParse แก้ปัญหาที่เจอซ้ำ ๆ กับ RAG ได้อย่างตรงจุด การดึงข้อมูลเชิงโครงสร้างจากข้อมูลที่ไม่เป็นโครงสร้างเป็นเรื่องยากอยู่แล้ว

  • คำถามคือราคาเท่าไร