OneRAG – Eine RAG-Quelle eines Chatbot-PMs, bei der sich Vector DB/LLM usw. mit nur einer Zeile in der Konfiguration austauschen lassen
(github.com/notadev-iamaura)Als Nicht-Entwickler habe ich mehrfach Produkte rund um Chatbots umgesetzt, und irgendwann wollte ich ein Produkt so bauen, wie ich es mir selbst vorgestellt hatte.
Deshalb habe ich auf Kmong mit der Entwicklung von Chatbots begonnen.
Es gibt dort derzeit viele Projekte von Nicht-Entwicklern, und auch ich habe mit dem einen Tool RAG-Chatbot von September letzten Jahres an fünf Monate lang rund 14 Millionen Won Umsatz erzielt.
Die Anforderungen der Auftraggeber ähneln sich meist stark, und es war lästig, den Code an leicht unterschiedliche RAG-Pipelines, die Nutzung verschiedener Vector DBs usw. anpassen zu müssen – deshalb habe ich OneRAG entwickelt.
Die Kernidee: Mit nur einer geänderten Zeile in der Konfigurationsdatei lässt sich jede Komponente austauschen.
Unterstützte Komponenten:
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
5-Minuten-Quickstart:
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
Basiert auf FastAPI, enthält Docker Compose und unterstützt standardmäßig koreanisches NLP.
(Ich habe im Bereich koreanischer KI-Services gearbeitet.)
MIT-Lizenz. Ich würde mich über Feedback zur Architektur oder Vorschläge freuen, welche Komponenten man noch hinzufügen sollte.
8 Kommentare
In letzter Zeit hatte ich auch vage das Gefühl, dass ich so einen Service brauche. Mich würde interessieren, ob Sie planen, chinesische Modelle wie zhipus GLM oder kimi hinzuzufügen.
Vielen Dank für Ihr Feedback!
Derzeit können Modellaufrufe bereits über OpenRouter erfolgen. Wenn Sie also eine OpenRouter-basierte Aufrufkonfiguration verwenden, können Sie das von Ihnen genannte Modell einfach durch Ändern des Modellnamens aufrufen.
Falls es sich um eine Struktur handelt, bei der das genannte Modell lokal ausgeführt wird, möchten wir dafür künftig ein Update bereitstellen.
Der Zeitpunkt dafür wird allerdings wahrscheinlich erst dann kommen, wenn es sich um ein Modell handelt, das für koreanisches RAG auf einem ausreichend hohen Niveau erscheint.
Bis dahin planen wir, eine vereinfachte Pipeline hinzuzufügen, mit der vor allem Einsteiger, die RAG zum ersten Mal ausprobieren, einfach experimentieren können.
Zum Beispiel ziehen wir Funktionen in Betracht, mit denen sich unter Nutzung der Grok Collections API mit weniger Konfiguration noch einfacher RAG umsetzen lässt :)
Vielen Dank für Ihre Antwort. Meinen Sie mit Open Router den Dienst https://openrouter.ai/? Den Teil, in dem Sie sagten, es sei ein Modell auf einem Niveau, das sich für koreanisches RAG einsetzen lässt, kenne ich ehrlich gesagt nicht gut, aber bei mir hat GLM 4.7 für die Prompts, die ich möchte, durchgängig bessere koreanische Antworten geliefert als Sonnet 4.5, sodass mein Vertrauen etwas gestiegen ist. Daher wäre es schön, wenn Sie es sich mit Interesse ansehen könnten.
Ja, genau! Auf Basis der OpenRouter-API unter dem entsprechenden Link ist ein Modellwechsel unkompliziert möglich.
(Allerdings fallen bei den Aufladekosten etwa 5 % zusätzliche Gebühren an, sodass es sich bequem auf dem Niveau eines Toy-Projekts nutzen lässt.)
Ich werde auch die Leistung von GLM4.7 im praktischen Einsatz prüfen und planen, wie wir es anwenden können :)
Die Web-App lässt sich ansprechend gestalten und dürfte sich gut als Backend für Chatbots eignen.
Ja, für ein persönliches Projekt scheint es gar nicht schlecht zu sein, wenn man ein gut gestaltetes Frontend dafür nutzt :)
Vielen Dank für die Veröffentlichung!
Ja! Ich hoffe, dass es auch nur ein bisschen dabei hilft, RAG-Produkte einfach zu testen!