Nvidia veröffentlicht Pipeline zur Erzeugung synthetischer Daten für das Training von LLMs

• NVIDIA hat die Modellfamilie Nemotron-4 340B vorgestellt
  • Kann zur Erzeugung synthetischer Daten für das Training kommerzieller LLMs in verschiedenen Branchen wie Gesundheitswesen, Finanzen, Fertigung und Einzelhandel eingesetzt werden
• Hochwertige Trainingsdaten spielen eine entscheidende Rolle für Leistung, Genauigkeit und Antwortqualität maßgeschneiderter LLMs. Robuste Datensätze sind jedoch teuer und schwer zugänglich
• Nemotron-4 340B bietet eine skalierbare Methode, mit der Entwickler kostenlos synthetische Daten erzeugen können, um leistungsstarke LLMs aufzubauen
  • Umfasst Base-, Instruct- und Reward-Modelle
  • Bildet eine Pipeline zur Erzeugung synthetischer Daten, die zum Trainieren und Verbessern von LLMs verwendet werden
  • Ist für das Open-Source-Framework NVIDIA NeMo optimiert und auch mit der NVIDIA-TensorRT-LLM-Bibliothek kompatibel
  • Derzeit bei Hugging Face zum Download verfügbar und künftig auch als NVIDIA-NIM-Microservice auf ai.nvidia.com erhältlich

Erzeugung synthetischer Daten mit Nemotron

• LLMs können zur Erzeugung synthetischer Trainingsdaten verwendet werden, wenn der Zugang zu großen, vielfältigen, gelabelten Datensätzen schwierig ist
• Das Modell Nemotron-4 340B Instruct kann vielfältige synthetische Daten erzeugen, die Eigenschaften realer Daten nachbilden, und so die Leistung und Robustheit maßgeschneiderter LLMs erhöhen
• Das Modell Nemotron-4 340B Reward filtert hochwertige Antworten heraus, um die Qualität von KI-generierten Daten zu verbessern. Es bewertet Antworten anhand von fünf Eigenschaften: Hilfsbereitschaft, Genauigkeit, Kohärenz, Komplexität und Ausführlichkeit
• Forschende können das Nemotron-4 340B Base-Modell zusammen mit eigenen Daten verwenden, um eigene Instruct- oder Reward-Modelle zu erstellen

Feinabstimmung mit NeMo und Inferenzoptimierung mit TensorRT-LLM

• Mit NVIDIA NeMo und NVIDIA TensorRT-LLM lässt sich die Effizienz von Instruct- und Reward-Modellen für die Erzeugung synthetischer Daten und die Bewertung von Antworten optimieren
• Die Modelle von Nemotron-4 340B nutzen Tensor-Parallelismus, der große, effiziente Inferenz ermöglicht, indem einzelne Gewichtungsmatrizen über mehrere GPUs und Server verteilt werden
• Das mit 9 Billionen Tokens trainierte Nemotron-4 340B Base-Modell kann mit dem NeMo-Framework für bestimmte Anwendungsfälle oder Domänen angepasst werden
• Über das NeMo-Framework werden verschiedene Anpassungsmethoden bereitgestellt, mit denen sich die Genauigkeit erhöhen und die Ausgaben für bestimmte Teilaufgaben verbessern lassen
• Zur Verbesserung der Modellqualität können mit NeMo Aligner und dem Nemotron-4 340B Reward-Modell Modelle anhand annotierter Datensätze ausgerichtet werden

[soychick]

Mit Nemotron lassen sich synthetische Daten erzeugen und für das Training von LLMs nutzen.