Leichtgewichtiges und effizientes Code-Projekt zur Bewertung von RAG-Modellen
(github.com/instructkr)Retriever Simple Benchmark ist ein leichtgewichtiges und effizientes Benchmark-Projekt, das zur Bewertung der für RAG benötigten Reranker entwickelt wird.
Ich habe es aus eigenem Bedarf erstellt und entwickle es als Open Source.
Warum?
Bei bestehenden Benchmark-Tools (z. B. MTEB) gab es viel Feedback, dass die Installation der Abhängigkeiten und die Ausführung umständlich sind und die Nutzung dadurch erschwert wird.
Ziel ist es, dass es sich sehr einfach, mit minimalen Abhängigkeiten und leichtgewichtig ausführen lässt und man sofort Ergebnisse sehen kann.
Einführung in das Repository
- Derzeit wird ein koreanischsprachiger cross-encoder unterstützt; künftig sollen auch bi-encoder-Modelle hinzugefügt werden.
- Um das Python-Projekt wartbar zu halten, wurde es mit astral-uv neu geschrieben.
Verwendung 💻
1️⃣ Umgebung einrichten
make init
2️⃣ Ausführen (derzeit wird nur eine einzelne GPU unterstützt)
make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
Weitere Pläne 📈
-
Zusätzlich unterstützte Modelle
- bi-encoder-Modelle auf Basis von HuggingFace und FlagEmbedding
-
Zusätzliche Datensätze
- Derzeit wird AutoRAG unterstützt, KURE soll noch hinzukommen
Noch keine Kommentare.