Firecrawl - เครื่องมือที่ทำให้ทั้งเว็บไซต์ใช้งานกับ LLM ได้

 (github.com/mendableai)
15 คะแนน โดย xguru 2024-11-14 | 2 ความคิดเห็น | แชร์ทาง WhatsApp
  • ครอลเว็บไซต์และแปลงเป็น Markdown หรือข้อมูลแบบมีโครงสร้างที่สามารถใช้กับ LLM ได้
  • เมื่อส่ง URL ผ่าน API ระบบจะครอลทุกหน้าลูกและให้ข้อมูลที่สะอาดสำหรับแต่ละหน้าลูก
  • รองรับ SDK สำหรับ Python, Node, Go, Rust
  • รองรับการเชื่อมต่อกับ LangChain, Llama Index, Dify, Langflow, Zapier เป็นต้น

บทความที่เกี่ยวข้อง

2 ความคิดเห็น

 
hoonix 2024-11-15

แม้จะไม่รองรับการครอลแบบลึกลงไปในลำดับชั้น แต่ขอแนะนำตัวแปลงรูปแบบเอกสารที่มีจุดประสงค์คล้ายกัน
https://github.com/DS4SD/docling
 
laeyoung 2024-11-14

มันไม่ได้ทำงานได้ตามที่ต้องการเท่าไหร่นัก