ScrapeServ - เซิร์ฟเวอร์ API ที่แปลง URL เฉพาะให้เป็นภาพหน้าจอ

• รันเซิร์ฟเวอร์ API บนเครื่องโลคัลแล้วส่ง URL เข้าไป ก็จะได้รับข้อมูลของเว็บไซต์ในรูปแบบไฟล์ พร้อมทั้งสร้างภาพหน้าจอของหลายส่วนในเว็บไซต์ไปด้วย
• เลื่อนหน้าหน้าเว็บเพื่อจับภาพหน้าจอของหลายเซกชัน
• ทำงานในรูปแบบคอนเทนเนอร์ Docker และใช้ Playwright เพื่อรันเบราว์เซอร์ Firefox จึงใช้ทรัพยากรค่อนข้างมากเล็กน้อย
• งานถูกประมวลผลผ่านคิว และรองรับการจัดการ HTTP header, 302 redirect และลิงก์ดาวน์โหลดได้อย่างถูกต้อง
• API แบบบล็อกกิง

[xguru]

ดูเหมือนว่าในคอมเมนต์บน Hacker News จะมีของน่าสนใจหลายอย่างที่ใช้แทนสิ่งนี้ได้ครับ

• ถ่ายสกรีนช็อตจาก command line ใน Chrome:
  chrome --headless --screenshot="path/to/save/screenshot.png" --disable-gpu --window-size=1280,720 "https://www.example.com";
• เวอร์ชันของ Firefox:
  firefox -screenshot file.png https://example.com --window-size=1280,720
• ลองพิมพ์ :screenshot --help ใน Developer Console ของ Firefox เพื่อดูตัวเลือกได้หลากหลาย
• ถ้าไม่อยากดูแลงานบำรุงรักษา ก็ใช้ตัวเลือกทดแทนด้านล่างได้
  • https://browserless.io - ควบคุมเบราว์เซอร์ระดับล่าง
  • https://scrapingbee.com - เชี่ยวชาญด้าน scraping
  • https://urlbox.com - เชี่ยวชาญด้าน scraping
  • https://scrapingfish.com
  • https://www.scraperapi.com
  • https://www.airtop.ai
• โปรเจ็กต์ที่คล้ายกัน
  • https://github.com/sensepost/gowitness
  • https://github.com/SmilyOrg/website-image-proxy