- Benutzerfreundliche UI für QA auf Basis von RAG (Retrieval-Augmented Generation)
- Entwickelt für allgemeine Nutzer, die QA mit Dokumenten durchführen möchten, und für Entwickler, die ihre eigene RAG-Pipeline aufbauen wollen
- Unterstützung für verschiedene LLMs: LLM-API-Anbieter wie OpenAI, AzureOpenAI und Cohere sowie lokale LLMs (
ollama, llama-cpp-python)
- Einfache Installation: Skripte für einen schnellen Start verfügbar
- Mit Gradio erstellte UI zum Testen der eigenen RAG-Pipeline (inklusive Themes)
Hauptfunktionen
- Hosting einer Web-UI für Dokumenten-QA:
- Unterstützung für Multi-User-Login
- Organisation von Dokumenten in privaten/öffentlichen Sammlungen
- Chatverläufe können geteilt werden und Zusammenarbeit wird unterstützt
- Verwaltung von LLMs und Embedding-Modellen:
- Unterstützung für lokale LLMs und gängige API-Anbieter wie OpenAI, Azure, Ollama und Groq
- Hybride RAG-Pipeline:
- Kombiniert standardmäßig hybride Suche (Volltext und Vektor) mit Reranking, um die bestmögliche Suchqualität sicherzustellen
- Unterstützung für multimodale QA:
- Kann Fragen zu mehreren Dokumenten mit Diagrammen und Tabellen beantworten
- Optionen zur multimodalen Dokumentenverarbeitung können in der UI ausgewählt werden
- Erweiterte Zitate und Dokumentvorschau:
- Bietet detaillierte Quellenangaben zur Sicherstellung der Genauigkeit
- Zitate und Relevanz-Scores können mit Hervorhebungen in einem browserinternen PDF-Viewer geprüft werden
- Zeigt Warnungen an, wenn Dokumente mit geringer Relevanz zurückgegeben werden
- Unterstützung für komplexe Inferenzmethoden:
- Kann durch Zerlegung von Fragen komplexe/mehrstufige Fragen beantworten
- Unterstützt agentenbasierte Inferenz mit
ReAct, ReWOO und anderen Agenten
- Konfigurierbare Settings-UI:
- Wichtige Elemente des Retrieval- und Generierungsprozesses können direkt in der UI angepasst werden (z. B. Prompt-Einstellungen)
- Erweiterbar:
- Auf Basis von Gradio aufgebaut, sodass UI-Elemente frei angepasst werden können
- Unterstützung für verschiedene Strategien zur Dokumentenindizierung und -suche geplant. Eine
GraphRAG-Indexing-Pipeline wird als Beispiel bereitgestellt
3 Kommentare
Es gibt so viele QA-RAG-Frameworks – was ist hier denn der Vorteil?
Im Bereich der Informationssuche und bei QA in diesem Kontext steht QA nicht für Quality Assurance, sondern für Question Answering.
Der Name ist interessant. Wenn ich nur nach dem Namen raten müsste, vermute ich, dass er aus Antwort (Kotae) + Doraemon (mon) gebildet wurde, also vielleicht „Kotaemon“.