Firecrawl – Ein Tool, das komplette Websites für die Nutzung mit LLMs verfügbar macht

• Crawlt Websites und wandelt sie in für LLMs nutzbares Markdown oder strukturierte Daten um
• Wenn eine URL per API übermittelt wird, crawlt es alle Unterseiten und liefert saubere Daten für jede einzelne Unterseite
• SDKs für Python, Node, Go und Rust verfügbar
• Unterstützt Integrationen mit LangChain, Llama Index, Dify, Langflow, Zapier und mehr

[hoonix]

Es unterstützt kein Crawling von Unterseiten, aber ich möchte einen Dokumentformat-Konverter mit einem ähnlichen Zweck vorstellen.
https://github.com/DS4SD/docling

[laeyoung]

Es funktioniert nicht so gut wie gewünscht.