BloombergGPT – Großes Sprachmodell für den Finanzbereich

• Ein Sprachmodell mit 50 Milliarden (50B) Parametern, trainiert auf umfangreichen Finanzdaten
• Aufbau eines Datensatzes mit 363 Milliarden Tokens auf Basis der Bloomberg-Datenquellen, ergänzt durch 345 Milliarden allgemeine Tokens
• Keine Leistungseinbußen bei allgemeinen LLM-Benchmarks und in Finanzaufgaben deutlich bessere Leistung als bestehende Modelle
• Erläuterung der Modellierungsentscheidungen, des Trainingsprozesses und der Evaluierungsmethodik
• Als nächster Schritt ist die Veröffentlichung eines Training-Logs (Chronik) geplant, das die Trainingserfahrungen mit BloombergGPT ausführlich behandelt