Die Grenzen von RAG und GraphRAG als ein Ansatz, diese Grenzen zu ergänzen

1. Das Zeitalter von ChatGPT ist gekommen. Wir leben heute in einer Zeit, in der der Einfluss großer Sprachmodelle so groß ist, dass man sie durchaus als die dritte industrielle Revolution bezeichnen könnte. Selbst meine Mutter nutzt ChatGPT, wenn sie etwas wissen möchte, sodass sich der Einsatzbereich generationenübergreifend immer weiter ausdehnt.
2. Wenn man darüber nachdenkt, warum sich der Einsatzbereich so stark erweitert, dann vermutlich deshalb, weil die gewünschten Informationen präzise gefunden und vermittelt werden. Für Menschen, die von einem Übermaß an Informationen ermüdet sind, werden die „notwendigen“ Informationen gut ausgewählt und bereitgestellt.
3. Trotz der enormen Fortschritte gab es auf diesem Weg auch viele Hürden. Ein Beispiel dafür ist die sogenannte „Halluzination“. Informationen werden zwar geliefert, aber eben ungenaue. Für dieses Phänomen gibt es verschiedene Ursachen. Eine der typischsten ist, dass die Absicht des Nutzers falsch interpretiert wird und dadurch irrelevante Informationen geliefert werden. Die Lösung für dieses Problem ist einfach: die Absicht des Nutzers „gut“ zu verstehen und „relevante“ Informationen bereitzustellen.
4. Um dies zu verbessern, werden verschiedene Ansätze ausprobiert. Grob lassen sie sich in vier Methoden einteilen: 1. ein großes Sprachmodell von Grund auf neu aufzubauen, 2. ein „gut“ trainiertes großes Sprachmodell zu übernehmen und es für den gewünschten Bereich zusätzlich weiterzutrainieren, 3. das große Sprachmodell unverändert zu verwenden, aber der Nutzeranfrage zusätzlichen Kontext zu geben, 4. das große Sprachmodell beizubehalten, aber während der Beantwortung des Nutzers zusätzlichen Kontext zu „relevanten Informationen“ bereitzustellen, um deren Relevanz hervorzuheben. So vielfältig die Methoden sind, so unterschiedlich sind auch ihre Vor- und Nachteile.
5. Methode 1 hat den Vorteil, dass dem großen Sprachmodell von Anfang an ein klarer Datenkontext vermittelt werden kann. Der Nachteil ist jedoch, dass die Kosten für einen Neuaufbau erheblich sind.
   2 hat den Vorteil, dass sie relativ kostengünstig ist und eine gewisse Genauigkeit gewährleistet, weil sie den Kontext eines „gut“ trainierten großen Sprachmodells übernimmt und eine kleine, für die Domäne spezialisierte Datenmenge gezielt zusätzlich anwendet. Der Nachteil besteht darin, dass es schwierig ist, den Kontext des großen Sprachmodells nicht zu verlieren und zugleich den domänenspezifischen Kontext ausgewogen zu erhalten.
   3 hat den Vorteil, dass sie kostengünstig ist, weil die Nutzeranfrage nur so aufbereitet werden muss, dass der Kontext der Absicht „gut“ ergänzt wird. Andererseits kann bei der Kontextanreicherung die Subjektivität der Person oder des Systems eingreifen, das den Kontext hinzufügt. Dadurch kann die Objektivität des Kontexts fehlen, und wenn starke Verzerrungen einfließen, kann der Kontext sogar negativ wirken.
   4 hat den Vorteil, dass Nutzeranfragen mit Antworten beantwortet werden können, die relativ aktuelle Informationen widerspiegeln, und dass die Einführungskosten gering sind. Der Nachteil ist jedoch die hohe Komplexität: Da die Qualität von Fragen je nach zugehörigen Dokumenten sehr unterschiedlich ist, muss strategisch entschieden werden, wie relevante Dokumente gut identifiziert und abgerufen werden und wie verschiedene Faktoren ausgewogen kombiniert werden können.
6. Darüber hinaus sind ausführliche Vergleiche unter fünf Aspekten — cost, accuracy, domain-specific terminology, up-to-date response, transparency and interpretability — unter https://deci.ai/blog/… gut dokumentiert; ein Blick darauf ist empfehlenswert.
7. Bis hierhin habe ich über verschiedene Methoden gesprochen, mit denen versucht wird, das Halluzinationsproblem großer Sprachmodelle zu lösen. In diesem Beitrag schauen wir uns unter diesen Methoden insbesondere Punkt 4 an: RAG (Retrieval Augment Generation), eine Technik, die „relevante Informationen“ gut abruft und dadurch Kontext ergänzt. Außerdem betrachten wir die Grenzen von RAG sowie GraphRAG als einen der Ansätze, diese Grenzen zu ergänzen.