Dies ist ein Rust-API-Server, der Webseiten scrapt und mit einem LLM strukturierte Daten extrahiert.
Hauptfunktionen:
- Unterstützung für JavaScript-Rendering auf Basis von Headless Chrome
- Sofortige Analyse der Scraping-Ergebnisse durch Anbindung der Gemini API
- Strukturierte Antworten auf Basis von JSON Schema
- Verarbeitung von 50 gleichzeitigen Anfragen durch Tab-Pooling
- Integrierte Sicherheitsfunktionen wie SSRF-Schutz und API-Key-Vergleich in konstanter Zeit
Anwendungsbeispiel:
Wenn URL und Analyse-Prompt an POST /scrape gesendet werden,
werden der Seiteninhalt und das LLM-Analyseergebnis als JSON zurückgegeben.
Es wurde als Self-Hosting-Alternative zu Diensten wie JinaAI und Firecrawl entwickelt.
Wenn nur Scraping benötigt wird, kann es auch ohne LLM verwendet werden.
Noch keine Kommentare.