Aktueller Stand der Retrieval-Augmented-Generation-(RAG)-Technologie für große Sprachmodelle

PyTorchKR

• Mit der Popularität von LLMs steigt auch das Interesse an RAG. Die koreanische PyTorch-User-Group hat das in den wichtigsten ML-Papern der Woche vom 18.12.~24.12. vorgestellte Survey-Paper zur RAG-Technologie zusammengefasst.

• Da der Inhalt recht umfangreich ist, wurde er auf zwei Beiträge aufgeteilt: Teil 1 behandelt die Paradigmen der RAG-Technologie, Teil 2 die wichtigsten Komponenten, die Evaluation und zukünftige Forschungsaufgaben.

Im Folgenden sind nur die wichtigsten Inhalte mit Schwerpunkt auf dem Inhaltsverzeichnis auszugsweise zusammengefasst.

---

Einführung in die Retrieval-Augmented-Generation-(RAG)-Technologie

Große Sprachmodelle (LLMs) zeigen beeindruckende Fähigkeiten, für den praktischen Einsatz müssen jedoch Probleme wie Halluzinationen, langsame Wissensaktualisierung und mangelnde Transparenz der Antworten überwunden werden. RAG (Retrieval-Augmented Generation) ist eine Technologie, die vorgeschlagen wurde, um diese Probleme zu lösen.

RAG ist ein Verfahren, bei dem in großen Sprachmodellen (LLMs) vor der Beantwortung einer Frage oder der Generierung von Text relevante Informationen aus einer umfangreichen Dokumentensammlung abgerufen und zur Erzeugung der Antwort genutzt werden. Im Mittelpunkt steht dabei die Lösung typischer Probleme von LLMs wie veraltetes Wissen, mangelndes Wissen in bestimmten Domänen und fehlende Transparenz der Antworten.

RAG kann die Genauigkeit von Antworten deutlich verbessern und hilft insbesondere bei wissensintensiven Aufgaben, Halluzinationen des Modells zu reduzieren. Nutzer können die Genauigkeit der Antwort anhand zitierter Quellen überprüfen, was das Vertrauen in die Modellausgaben erhöht. Außerdem erleichtert es Wissensupdates und die Einbindung von Fachwissen aus bestimmten Bereichen.

Neben RAG kann auch Fine-Tuning eingesetzt werden, damit sich ein großes Sprachmodell auf bestimmtes Wissen konzentriert. Solches Fine-Tuning braucht jedoch Zeit, um in Echtzeit aktualisierte Informationen zu berücksichtigen, und verbraucht zusätzliche Ressourcen für ein erneutes Training des Modells. Im Vergleich dazu ist RAG vergleichbar mit der Bereitstellung eines „Nachschlagewerks“ für ein LLM, mit dem es Informationen zu einer bestimmten Anfrage abrufen kann.

Überblick über die drei wichtigsten RAG-Paradigmen

Die Forschungsparadigmen der RAG-Technologie entwickeln sich im Laufe der Zeit ständig weiter. Die drei zentralen Paradigmen sind Naive RAG, Advanced RAG und Modular RAG. Das frühe Naive RAG war kosteneffizient und leistungsfähiger als der ausschließliche Einsatz eines LLM, hatte jedoch viele Nachteile. Advanced RAG und Modular RAG entstanden, um bestimmte Schwächen von Naive RAG zu beheben.

Die drei wichtigsten RAG-Paradigmen – Naive RAG

Naive RAG bezeichnet den frühen methodischen Ansatz in der RAG-Forschung und umfasst traditionelle Prozesse für Indexierung, Retrieval und Generierung. Naive RAG konzentriert sich vor allem auf einfache Retrieval- und Generierungsverfahren und ist wichtig, um die Grundkonzepte und Prinzipien von RAG zu erklären.

Allerdings können aufgrund geringer Retrieval-Genauigkeit, niedriger Qualität der Antwortgenerierung und Schwierigkeiten im Augmentierungsprozess unnötige Wiederholungen, ungenaue Informationen und die fehlerhafte Einbindung von Kontext entstehen. Daher kann Naive RAG für komplexe oder anspruchsvolle Szenarien ungeeignet sein.

Die drei wichtigsten RAG-Paradigmen – Advanced RAG

Advanced RAG ist ein Paradigma, das entwickelt wurde, um die Schwächen von Naive RAG zu verbessern. Es umfasst vor allem Methoden vor und nach dem Retrieval, um die Qualität von Retrieval und Generierung zu steigern. Advanced RAG lässt sich grob in drei Stufen unterteilen: Pre-Retrieval Process, Post-Retrieval Process und RAG Pipeline Optimization.

Die drei wichtigsten RAG-Paradigmen – Modular RAG

Modular RAG ist eine weiterentwickelte Form von Advanced RAG. Es geht über das bestehende RAG-Framework hinaus und integriert verschiedene Module und Funktionen, um mehr Vielfalt und Flexibilität zu bieten. Dieser Ansatz umfasst mehrere neue Module und Muster, mit denen sich RAG-Systeme an unterschiedliche Szenarien und Anforderungen anpassen lassen.

Wichtige Komponenten der RAG-Technologie: Retriever

Der Retriever repräsentiert bereits den Anfangsbuchstaben R im Akronym RAG und übernimmt daher im System die wichtige Rolle der Informationssuche. Er findet relevante Informationen in großen Datensätzen und bereitet Daten für die Textgenerierung vor. Solche Retriever werden eingesetzt, um die Lücke zwischen dem allgemeinen Wissen eines LLM und dem Bedarf an aktuellen, kontextuell präzisen Informationen zu schließen. Das ist besonders wichtig in Szenarien mit Echtzeitdaten, domänenspezifischem Fachwissen oder erforderlicher Faktenprüfung.

Wichtige Komponenten der RAG-Technologie: Generator

Wenn die Aufgabe des Retrievers darin besteht, anhand der Eingabe des Nutzers Kandidatendokumente zu extrahieren, dann besteht die Aufgabe des Generators darin, unter Nutzung der abgerufenen Ergebnisse eine Antwort für den Nutzer zu erzeugen. Um die abgerufenen Informationen effektiv zu nutzen und genaue sowie relevante Antworten zu generieren, werden Nachbearbeitungsschritte zur Informationskompression und zum Re-Ranking sowie Optimierungsprozesse zur Anpassung an die Eingabedaten durchgeführt.

Wichtige Komponenten der RAG-Technologie: Augmentation Methods

In diesem Kapitel werden die Augmentierungsmethoden in RAG unter den folgenden drei Aspekten betrachtet.

• die Augmentierungsstufe (the stage of augmentation)
• die Augmentierung der Datenquellen (augmentation data sources)
• der Augmentierungsprozess (the process of augmentation)

RAG Evaluation

RAG Evaluation bewertet, wie effektiv RAG funktioniert. Die Evaluation lässt sich grob in zwei Arten unterteilen: unabhängige Evaluation einzelner Module wie Retriever oder Generator sowie End-to-End-Evaluation des gesamten Prozesses von der Eingabe bis zur Ausgabe. Es werden die jeweiligen Evaluationsmethoden, die dabei verwendeten Metriken und die nutzbaren Frameworks behandelt.

Zukunftsaussichten von RAG (Future Prospects)

Behandelt werden die vertikale Optimierung und horizontale Erweiterung von RAG sowie Inhalte zum RAG-Ökosystem.

---

⚠️Werbung: War dieser von der koreanischen PyTorch-User-Group zusammengestellte Beitrag hilfreich? Wenn Sie sich als Mitglied registrieren, senden wir Ihnen wichtige Beiträge per E-Mail zu! Standard ist Weekly, aber Sie können auch auf Daily umstellen.

[959ma]

Vielen Dank fürs Teilen dieses guten Materials.

[ninebow]

Ah, vielen Dank fürs Lesen!
Falls Ihnen beim Lesen etwas Ungewöhnliches oder Fehlerhaftes auffällt, geben Sie mir bitte Bescheid. ^^;