- LlamaCloud: บริการแยกวิเคราะห์ การรับเข้า และการค้นหาที่จัดการแบบรุ่นใหม่ ออกแบบมาเพื่อให้การเสริมบริบท (Context-Augmentation) ระดับ production แก่แอปพลิเคชัน LLM และ RAG
- LlamaParse: เทคโนโลยีสำหรับแยกวิเคราะห์เอกสารที่ซับซ้อนที่มีวัตถุเช่นตารางหรือกราฟอยู่ภายใน ทำให้สามารถสร้างการค้นหาสำหรับเอกสารที่ซับซ้อนและกึ่งโครงสร้างได้เมื่อเชื่อมต่อกับ LlamaIndex
- API การรับเข้าและการค้นหาที่จัดการได้: ให้ API ที่สามารถโหลด ประมวลผล และเก็บข้อมูลได้ง่าย และใช้งานได้กับภาษาใดก็ได้ โดยทำงานบนพื้นฐานของ LlamaHub, LlamaParse และคลังข้อมูลที่รวมเข้าไว้ด้วยกัน
RAG ขึ้นอยู่กับคุณภาพของข้อมูล
- แก่นของ LLM คือการทำให้การค้นหา การสังเคราะห์ การสกัด และการวางแผนบนแหล่งข้อมูลที่ไม่เป็นโครงสร้างเป็นอัตโนมัติ
- เพื่อบรรลุสิ่งนี้ จึงเกิดสแต็กข้อมูลใหม่ที่โหลด ประมวลผล สร้าง embedding และโหลดลง vector database ในแนวคิด Retrieval-Augmented Generation (RAG)
- สแต็ก RAG แตกต่างจากสแต็ก ETL แบบดั้งเดิม และมีผลโดยตรงต่อความแม่นยำของระบบ LLM
- การเริ่มต้นใช้งานทำได้ง่าย แต่การสร้าง RAG ระดับ production นั้นทำได้ยาก
- ไม่สามารถสร้างผลลัพธ์ที่น่าพอใจได้
- มีจำนวนพารามิเตอร์ที่ต้องปรับจูนมากเกินไป
- PDF มีรูปแบบการจัดวางที่ไม่เป็นระเบียบ โดยเฉพาะอย่างยิ่ง
- การซิงค์ข้อมูลที่มีการอัปเดตอย่างต่อเนื่องทำได้ค่อนข้างยาก
- LlamaCloud และ LlamaParse ถูกสร้างขึ้นเป็น data pipeline เพื่อช่วยให้นำแอปพลิเคชัน RAG เข้าสู่ production ได้เร็วขึ้น
LlamaParse
- LlamaParse คือพาร์เซอร์ล้ำสมัยที่ช่วยให้ตีความตารางและแผนภูมิที่ฝังอยู่ในเอกสาร PDF ที่ซับซ้อนได้ในเชิง RAG
- ทำให้สามารถตอบคำถามเกี่ยวกับเอกสารที่ซับซ้อนได้ ซึ่งไม่สามารถทำได้ด้วยแนวทางแบบเดิม
API การรับเข้าและการค้นหาที่จัดการได้
- อีกหนึ่งสินค้าเด่นของ LlamaCloud ที่ทำให้สามารถกำหนดสแต็กข้อมูลที่มีประสิทธิภาพสูงได้อย่างง่าย และส่งข้อมูลสะอาดให้กับแอปพลิเคชัน LLM
- มอบข้อดีทั้งการประหยัดเวลาด้านวิศวกรรม การยกระดับประสิทธิภาพ และการลดความซับซ้อนของระบบ
พันธมิตรและผู้ร่วมงานในการเปิดตัว
- LlamaParse ร่วมมือกับพันธมิตรหลากหลายราย เพื่อสร้างความร่วมมือด้านการจัดเก็บข้อมูลและการคำนวณใน ecosystem ของ LLM และ AI กับ DataStax, MongoDB, Qdrant และ NVIDIA
FAQ
- LlamaCloud ไม่ได้แข่งขันกับ vector database แต่เน้นที่การแยกข้อมูลและรับเข้าข้อมูลโดยตรง โดยเชื่อมต่อกับ vector DB ยอดนิยมมากกว่า 40 ตัว
- ชั้นการค้นหาเป็น orchestration ที่อยู่เหนือระบบจัดเก็บข้อมูลเดิม
ขั้นตอนถัดไป
- LlamaParse เปิดให้ใช้งานแบบ public preview ตั้งแต่วันนี้ และ LlamaCloud เปิดให้เข้าถึงแบบ private preview กับ partner องค์กรที่คัดเลือกแบบจำกัด
1 ความคิดเห็น
ความคิดเห็นจาก Hacker News
ในฐานะที่เป็นส่วนหนึ่งของทีมพัฒนา LlamaParse ซึ่งมีประสบการณ์ในการพัฒนาตัวแปลง PDF เป็นข้อความโครงสร้างหลายตัวมาก่อน พบว่า LlamaParse มีส่วนที่ดีขึ้นเมื่อเทียบกับตัวแปลงอื่น ๆ โดยผสมผสานการสกัดตัวอักษรด้วย OCR และการสกัดข้อความจาก PDF เข้าด้วยกัน และใช้ heuristics ร่วมกับโมเดลแมชชีนเลิร์นนิงเพื่อสร้างโครงสร้างเอกสารใหม่ เมื่อผสมกับกลยุทธ์การค้นหาแบบ recursive จึงได้ผลลัพธ์ดีที่สุดในงานตอบคำถามสำหรับข้อความที่ซับซ้อน.
LlamaParse ได้พัฒนาบริการแปลงข้อมูลแบบเอกสิทธิ์ที่เก่งมากในการพาร์ส PDF ที่มีตารางซับซ้อนให้อยู่ในรูปแบบ Markdown ที่มีโครงสร้างดีมาก คาดว่าเป็นปัญหาไหมเมื่อโครงการโอเพนซอร์สได้รับความสนใจและการมีส่วนร่วมจากชุมชน แล้วผู้นำโครงการก็รับเงินทุน VC และสร้างสิ่งที่เป็นเอกสิทธิ์ขึ้นมา?
ไม่เข้าใจว่าทำไมจึงโพสต์บน Medium Medium ตอนนี้อ่านลำบากและไม่สามารถเข้าถึงได้ ต้องมีโพสต์บล็อกที่ผู้ชมเข้าถึงได้
อยากรู้ว่า LlamaParse เปรียบเทียบกับ unstructured.io โดยตรงได้อย่างไร
ประสบการณ์แรก ๆ กับ LlamaParse ไม่ได้สร้างความประทับใจ ทั้งปัญหา redirect วนไม่จบตอนสมัครด้วยอีเมล และความผิดหวังที่เจอหลังล็อกอินด้วย Google ในเรื่อง PDF parser จึงสับสนว่าทำไมต้องมีบริการนี้ ทั้งที่มีตัวเลือกมากมายอยู่แล้ว
LlamaParse ดูเหมือนจะพยายามแก้ปัญหาที่ยากลำบาก หลายบริษัทลูกค้าต้องการแปลงไฟล์ PDF และแยกข้อมูลอย่างแม่นยำ อินเทอร์เฟซค่อนข้างยุ่งยาก LlamaParse อาจดึงตัวเลขจากตารางได้ แต่ดูเหมือนว่าผลลัพธ์ไม่ได้แสดงเป็นตาราง และดูเหมือนว่าเข้าถึงตัวเลขได้ผ่านการถาม-ตอบเท่านั้น
มันไม่เหมือนกับที่ AWS Textract ทำหรือ? ตัวบริการนี้สามารถแปลงและสืบค้นข้อมูลจากตารางและแบบฟอร์มได้ สำหรับ LI แล้วก็ทำให้การทำงานของ workflow และ RAG เพื่อค้นหาง่ายขึ้นสำหรับผู้ใช้ แต่ยังสงสัยว่าทำไมต้องคิดค้นล้อใหม่อีกครั้ง
ทำไมถึงสร้างสิ่งนี้ขึ้นมา ทั้งที่สามารถใช้ LLMs เพื่อแยกข้อมูลออกมาในรูปแบบที่เหมาะสมที่สุดได้ตั้งแต่ต้น ต้นทุนอาจทำให้มีเหตุผลในระยะสั้น แต่ในระยะยาว มันเป็นปัญหาที่ LLMs แก้ได้โดยทั่วไป
LlamaParse แก้ปัญหาที่เจอซ้ำ ๆ กับ RAG ได้อย่างตรงจุด การดึงข้อมูลเชิงโครงสร้างจากข้อมูลที่ไม่เป็นโครงสร้างเป็นเรื่องยากอยู่แล้ว
คำถามคือราคาเท่าไร