Ask HN: Wie trainiert man Stand Dezember 2023 ein Custom-LLM/ChatGPT mit eigenen Dokumenten?

• Es gibt einen verwandten Thread von vor 5 Monaten, doch die Informationen könnten bereits veraltet sein; gesucht wird daher erneut nach dem Stand der Ansätze im Dezember 2023
• Im Kern geht es um die Frage, wie man einem LLM eine Sammlung eigener Dokumente bereitstellt, um Antworten mit wenigen Halluzinationen und ordentlicher Qualität zu erhalten
• Der Fokus liegt nicht nur auf dem Training eines eigenen Modells, sondern allgemein auf Methoden, Fragen anhand von Dokumenten beantworten zu lassen, einschließlich Ansätzen wie RAG

[GN⁺]

Hacker-News-Kommentare

• Ein Training auf Dokumenten findet in der Praxis nicht wirklich statt; viele Startups verwenden diesen Begriff, setzen tatsächlich aber RAG (Retrieval-Augmented Generation) ein.

  • Llamaindex gilt als die beste Option.
  • Die meisten Startups, die behaupten, auf Dokumenten zu trainieren, verwenden in Wirklichkeit RAG.
  • Es wird empfohlen, nach Skripten zu suchen, die mit qLoRA automatisch Frage-und-Antwort-Paare erzeugen.
  • Erfolgreiche Anwendungsfälle für persönliche Dokumenten-Wissensdatenbanken sind selten; hauptsächlich wird es für Mathematik, Reasoning, Python und ähnliche Fähigkeiten eingesetzt.
  • Es ist empirisch belegt, dass es nicht funktioniert, einen Dokumentensatz einfach in ein Fine-Tuning zu werfen.

• Je nach Menge der Dokumente sollten unterschiedliche Ansätze in Betracht gezogen werden.

  • RAG funktioniert gut bei kleinen Datensätzen, und Llamaindex hat in diesem Bereich viel Engineering geleistet.
  • Die Kombination aus Fine-Tuning und RAG ist effektiv für große Datensätze mit Wissen, das im Internet leicht zu finden ist.
  • Fortlaufendes Pretraining ist notwendig, wenn es um sehr große Datensätze und proprietäres Wissen geht.

• AWS Bedrock ist einfach zu verwenden; Dokumente können in S3 hochgeladen und mit einer Vektordatenbank synchronisiert werden, um sie über eine API zu nutzen.

  • Bedrock ist ein Produkt, das verschiedene Modelle und eine gemeinsame API bereitstellt.

• h2ogpt ist eine funktionsreiche RAG-Implementierung, die Dokumente in verschiedenen Formaten verarbeiten kann und unterschiedliche Implementierungen für das Hosting von Modellen unterstützt.

• Man kann ein ChatGPT-Konto erwerben und eigene Dokumente hochladen, um damit eine angepasste dialogorientierte KI zu erstellen.

• GPT4 Assistants können RAG derzeit standardmäßig verarbeiten, und PrivateGPT ist eine der bekanntesten Optionen dafür.

• Copilot Builder in Microsoft Office ermöglicht es Nutzern, in wenigen Sekunden einen AI Copilot zu erstellen, indem sie eine Basis-URL, hochgeladene Dateien usw. angeben.

• Cheshire Cat ist ein Framework für KI-Assistenten, das Dokumente als "Erinnerungen" speichert, damit sie später wieder abgerufen werden können.

• Es gibt einen Video-Guide dazu, wie man Mistral 7B mit QLoRA feinabstimmt; dabei wird erwähnt, dass RAG-Techniken möglicherweise die bessere Wahl sind.