TorchTune – Metas PyTorch-Bibliothek für das Fine-Tuning von LLMs

• Native-PyTorch-Bibliothek für das Fine-Tuning, mit der sich LLMs einfach erstellen, feinabstimmen und experimentell erproben lassen
• Native PyTorch-Implementierungen beliebter LLMs
• Unterstützung für Checkpoints in verschiedenen Formaten, einschließlich Checkpoints im HF-Format
• Bietet Trainings-Recipes für gängige Fine-Tuning-Methoden mit Referenz-Benchmarks und umfassenden Genauigkeitsprüfungen
• Bewertung trainierter Modelle über das EleutherAI Evaluation Harness
• Integration mit HuggingFace-Datasets für das Training
• Unterstützung für verteiltes Training mit FSDP von PyTorch Distributed
• YAML-Konfigurationen zur einfachen Einrichtung von Trainingsläufen
• [Geplant] Unterstützung für Low-Precision-dtypes und Quantisierungstechniken von TorchAO
• [Geplant] Unterstützung für die Anbindung an verschiedene Inferenz-Engines