ScrapeServ - API-Server, der bestimmte URLs in Screenshots umwandelt

• Wenn der API-Server auf einem lokalen Rechner läuft und eine URL gesendet wird, erhält man die Website-Daten als Datei; zusätzlich werden Screenshots mehrerer Bereiche der Website erstellt
• Scrollt durch die Seite und erstellt Screenshots mehrerer Abschnitte
• Läuft als Docker-Container und verwendet Playwright, um den Firefox-Browser zu starten; der Ressourcenverbrauch ist daher etwas höher
• Aufgaben werden über eine Queue verarbeitet; HTTP-Header, 302-Redirects und Download-Links werden korrekt behandelt
• Blockierende API

[xguru]

In den Hacker-News-Kommentaren gibt es viele interessante Dinge, die das hier ersetzen können.

• Screenshot in Chrome über die Kommandozeile erstellen:
  chrome --headless --screenshot="path/to/save/screenshot.png" --disable-gpu --window-size=1280,720 "https://www.example.com";
• Firefox-Version:
  firefox -screenshot file.png https://example.com --window-size=1280,720
• Wenn man in der Firefox-Entwicklerkonsole :screenshot --help eingibt, sind verschiedene Optionen möglich
• Wenn man keine Lust auf Wartungsarbeiten o. Ä. hat, kann man die folgenden Alternativen nutzen
  • https://browserless.io - Browser-Steuerung auf niedriger Ebene
  • https://scrapingbee.com - auf Scraping spezialisiert
  • https://urlbox.com - auf Scraping spezialisiert
  • https://scrapingfish.com
  • https://www.scraperapi.com
  • https://www.airtop.ai
• Ähnliche Projekte
  • https://github.com/sensepost/gowitness
  • https://github.com/SmilyOrg/website-image-proxy