LG AI Research veröffentlicht EXAONE 3.0 7.8B als Open-Source-Modell

• EXAONE 3.0 wurde im August 2024 vorgestellt, zunächst nur intern bei LG genutzt und nun in ein offenes Modell überführt
• Aus der für verschiedene Einsatzzwecke zusammengestellten Modellreihe wird das 7.8B Instruction-Tuned-Modell für Forschungszwecke als Open Source veröffentlicht
• Man hofft, damit zu bedeutender Forschung von KI-Forschenden im In- und Ausland sowie zur Weiterentwicklung des KI-Ökosystems beizutragen
• Basierend auf einer Decoder-only-Transformer-Architektur, mit 7.8B Parametern und 8T Trainingsdaten

Erreicht englische Leistung auf globalem Spitzenniveau: Platz 1 beim Durchschnittswert für Real-world Use Cases, starke Performance auch in Einzel-Benchmarks

• Die englische Leistung des 7.8B-Modells liegt im Vergleich zu anderen Modellen auf globalem Spitzenniveau
• Die Auswertung über vier Benchmarks bestätigt eine bessere Leistung als globale Top-Modelle
• Platz 1 beim Durchschnittswert in Mathematik und Coding, zudem hohe Leistung beim Reasoning

Deutlich überlegene koreanische Leistung: Platz 1 beim Durchschnittswert sowohl für Real-world Use Cases als auch in Einzel-Benchmarks

• Als englisch-koreanisches bilinguales Modell liefert es auch auf Koreanisch hervorragende Leistung
• Zur Überprüfung der Leistung bei Real-world Use Cases wurden zwei Benchmarks verwendet
• Die Einzel-Benchmarks wurden so aufgebaut, dass sie mit englischen Evaluierungs-Benchmarks wie KMMLU übereinstimmen
• Sowohl bei Real-world Use Cases als auch in Einzel-Benchmarks wurde Platz 1 beim Durchschnittswert erreicht

Verbesserte Wirtschaftlichkeit: Kosten nach drei Jahren Forschung und Entwicklung auf 6 % gesenkt

• Für den praktischen Einsatz von KI ist neben besserer Leistung auch eine höhere Wirtschaftlichkeit unerlässlich
• Über drei Jahre hinweg wurde die Forschung und Entwicklung auf Techniken zur Modellkomprimierung und Kostenoptimierung konzentriert
• Beim 7.8B-Modell wurden gegenüber EXAONE 2.0 die Inferenzzeit um 56 % und die Kosten um 72 % reduziert
• Im Vergleich zu EXAONE 1.0 konnten die Kosten deutlich auf 6 % gesenkt werden

Ethische Transparenz: Neben guten Ergebnissen werden auch Bereiche mit Verbesserungsbedarf offengelegt

• LG AI Research berücksichtigt KI-Ethik konsequent im gesamten Forschungs- und Entwicklungsprozess von KI-Modellen
• Auch das EXAONE 3.0 7.8B-Modell wurde durch Red Teaming auf Ethik und Sicherheit geprüft
• Für die Bewertung wurden interne sowie externe Datensätze von Drittanbietern verwendet
• Beim Verhindern geschlechtsbezogener Diskriminierung und illegaler Antworten zeigt das Modell gute Ergebnisse, es gibt jedoch weiterhin Bereiche mit Verbesserungsbedarf
• Zur Förderung der KI-Ethik werden die Evaluationsergebnisse transparent veröffentlicht
• Es wird auf aktive Forschung zur KI-Ethik durch Forschende gehofft, LG AI Research will die Forschung ebenfalls fortsetzen

[xguru]

Ich hoffe, dass hier künftig auch häufiger inländische Nachrichten geteilt werden ;)