Frage an HN: Wie trainiert man im Dezember 2023 ein maßgeschneidertes LLM/ChatGPT mit eigenen Dokumenten?

Wie man einem LLM einen maßgeschneiderten Dokumentensatz bereitstellt

• Diskussion über die beste Methode, einem LLM (Large Language Models) den eigenen Dokumentensatz bereitzustellen, um passende Antworten ohne unrealistische Ergebnisse zu erhalten.
• Der Fokus liegt darauf, wie man einem LLM einen bestimmten Dokumentensatz „beibringt“. Das bedeutet nicht zwangsläufig, ein eigenes Modell zu trainieren, sondern umfasst auch Ansätze wie RAG (Retrieval-Augmented Generation).
• Es gibt zwar einen Thread von vor 5 Monaten, gebraucht werden aber Informationen, die zum Stand von Dezember 2023 passen.

Meinung von GN⁺

• Mit dem Fortschritt der Technologie wird es immer wichtiger, mithilfe von LLMs präzise Informationen aus bestimmten Dokumentensätzen zu extrahieren.
• Solche Techniken helfen dabei, maßgeschneiderte Ergebnisse nach den Bedürfnissen der Nutzer zu erhalten, und können in vielen Bereichen eingesetzt werden, etwa Business Intelligence, Forschung und Bildung.
• Es ist wichtig, bestehende Ansätze wie RAG zu nutzen oder neue Methoden zu suchen. Das wird dazu beitragen, die Einsatzmöglichkeiten von LLMs zu erweitern und genauere sowie zuverlässigere Ergebnisse zu erzielen.

[GN⁺]

Hacker-News-Kommentare

• Ein Training auf Dokumenten findet in der Praxis nicht wirklich statt; viele Startups verwenden diesen Begriff, setzen tatsächlich aber RAG (Retrieval-Augmented Generation) ein.

  • Llamaindex gilt als die beste Option.
  • Die meisten Startups, die behaupten, auf Dokumenten zu trainieren, verwenden in Wirklichkeit RAG.
  • Es wird empfohlen, nach Skripten zu suchen, die mit qLoRA automatisch Frage-und-Antwort-Paare erzeugen.
  • Erfolgreiche Anwendungsfälle für persönliche Dokumenten-Wissensdatenbanken sind selten; hauptsächlich wird es für Mathematik, Reasoning, Python und ähnliche Fähigkeiten eingesetzt.
  • Es ist empirisch belegt, dass es nicht funktioniert, einen Dokumentensatz einfach in ein Fine-Tuning zu werfen.

• Je nach Menge der Dokumente sollten unterschiedliche Ansätze in Betracht gezogen werden.

  • RAG funktioniert gut bei kleinen Datensätzen, und Llamaindex hat in diesem Bereich viel Engineering geleistet.
  • Die Kombination aus Fine-Tuning und RAG ist effektiv für große Datensätze mit Wissen, das im Internet leicht zu finden ist.
  • Fortlaufendes Pretraining ist notwendig, wenn es um sehr große Datensätze und proprietäres Wissen geht.

• AWS Bedrock ist einfach zu verwenden; Dokumente können in S3 hochgeladen und mit einer Vektordatenbank synchronisiert werden, um sie über eine API zu nutzen.

  • Bedrock ist ein Produkt, das verschiedene Modelle und eine gemeinsame API bereitstellt.

• h2ogpt ist eine funktionsreiche RAG-Implementierung, die Dokumente in verschiedenen Formaten verarbeiten kann und unterschiedliche Implementierungen für das Hosting von Modellen unterstützt.

• Man kann ein ChatGPT-Konto erwerben und eigene Dokumente hochladen, um damit eine angepasste dialogorientierte KI zu erstellen.

• GPT4 Assistants können RAG derzeit standardmäßig verarbeiten, und PrivateGPT ist eine der bekanntesten Optionen dafür.

• Copilot Builder in Microsoft Office ermöglicht es Nutzern, in wenigen Sekunden einen AI Copilot zu erstellen, indem sie eine Basis-URL, hochgeladene Dateien usw. angeben.

• Cheshire Cat ist ein Framework für KI-Assistenten, das Dokumente als "Erinnerungen" speichert, damit sie später wieder abgerufen werden können.

• Es gibt einen Video-Guide dazu, wie man Mistral 7B mit QLoRA feinabstimmt; dabei wird erwähnt, dass RAG-Techniken möglicherweise die bessere Wahl sind.