AutoRAG: Automatisierungstool, das automatisch die optimale RAG-Pipeline findet

• AutoRAG optimiert RAG automatisch, ähnlich wie AutoML ML automatisch optimiert.
• RAG (Retrieval-Augmented Generation), das es LLMs ermöglicht, durch Suche in Tausenden von Dokumenten (PDFs, Word-Dateien usw.) auch Fragen zu Wissen zu beantworten, das sie nicht kennen, erhält viel Aufmerksamkeit.
• Es ist schwierig, auf Basis realer Dokumente eine leistungsstarke RAG-Pipeline aufzubauen.
• Bei RAG ist je nach Daten und Ziel eine jeweils andere Kombination passend, und um die optimale Kombination zu finden, müssen viele Experimente und Evaluierungen wiederholt werden.
• Die Kombinationen von RAG-Pipelines sind so vielfältig, dass allein mit den derzeit von AutoRAG unterstützten 12 Modulen 960 Kombinationen möglich sind.
  (Embeddings und Sprachmodelle sind aus den Kombinationen ausgenommen.)
• AutoRAG optimiert RAG automatisch, ähnlich wie AutoML ML automatisch optimiert.
• Es kann verwendet werden, indem man einfach eine YAML-Datei leicht anpasst.
• Die gefundene optimale RAG kann sofort als fastAPI-Server ausgeführt und genutzt werden.

---

Als ich RAG lernte, verschiedene Pipelines erstellte und ihre Leistung testete, war die größte Schwierigkeit, die ich empfand, „für jedes Datenset zu optimieren“.
In der Forschung werden zwar täglich neue RAG-Module oder Pipelines vorgeschlagen, doch wenn man sie mit viel Mühe übernimmt und auf reale Daten anwendet, verbessert sich die Leistung oft überhaupt nicht. Außerdem war es mühsam und anstrengend, für Dokumente wie PDFs Evaluierungs-Datensätze aufzubauen und mit verschiedenen Modulen zu experimentieren und sie zu bewerten.

Da wir davon ausgingen, dass die meisten RAG-Entwicklungsteams dieselben Schwierigkeiten haben, hat unser Team AutoRAG als Open Source entwickelt. Wenn Sie auf GitHub und in unserer Docs nachsehen und den Anleitungen folgen, können Sie es leicht verwenden.

Sowohl Menschen, die bereits intensiv an RAG gearbeitet haben, als auch diejenigen, die neu in RAG einsteigen, werden es mit Zufriedenheit nutzen können!