เป็นเซิร์ฟเวอร์ API ภาษา Rust สำหรับสแครปหน้าเว็บและดึงข้อมูลแบบมีโครงสร้างด้วย LLM
ความสามารถหลัก:
- รองรับการเรนเดอร์ JavaScript บนพื้นฐาน Headless Chrome
- เชื่อมต่อกับ Gemini API เพื่อวิเคราะห์ผลการสแครปได้ทันที
- การตอบกลับแบบมีโครงสร้างบนพื้นฐาน JSON Schema
- รองรับคำขอพร้อมกัน 50 รายการด้วยการทำ tab pooling
- มีฟีเจอร์ความปลอดภัยในตัว เช่น การป้องกัน SSRF และการเปรียบเทียบ API key แบบเวลาคงที่
ตัวอย่างการใช้งาน:
ส่ง URL และพรอมป์ตสำหรับการวิเคราะห์ไปที่ POST /scrape แล้ว
ระบบจะส่งคืนเนื้อหาของหน้าเว็บและผลการวิเคราะห์จาก LLM ในรูปแบบ JSON
ถูกสร้างขึ้นมาเพื่อเป็นทางเลือกแบบ self-hosting สำหรับบริการอย่าง JinaAI และ Firecrawl
หากต้องการเพียงการสแครป ก็สามารถใช้งานได้โดยไม่ต้องใช้ LLM
ยังไม่มีความคิดเห็น