Facebook veröffentlicht Open Source ein Modell, das 100 Sprachen ohne Abhängigkeit vom Englischen übersetzen kann

M2M-100 ist ein MMT-Modell (Multilingual Machine Translation),

und kann als erstes 100 Sprachpaare gegenseitig übersetzen, ohne auf englische Daten angewiesen zu sein.

Die meisten Übersetzungen laufen über Englisch, weil dafür viele Trainingsdaten vorhanden sind, aber dieses Modell übersetzt direkt und bewahrt dadurch die Bedeutung besser.

Beim BLEU-Score (Bilingual Evaluation Understudy) zeigt es um mehr als 10 % bessere Ergebnisse.

Es wurde für insgesamt 2.200 Sprachrichtungen trainiert, also zehnmal mehr als frühere führende englischzentrierte mehrsprachige Modelle.

Mit M2M-100 verbessert sich die Übersetzungsqualität für Menschen, die Sprachen mit wenig verfügbaren Daten nutzen.

In diesem Beitrag werden Details zum MMT-Trainingsdatensatz und zur Methode des Modellaufbaus geteilt,

außerdem werden das Modell sowie Trainings- und Evaluierungsmethoden veröffentlicht, damit andere Forschende bessere mehrsprachige Modelle reproduzieren und weiterentwickeln können.

Das mit 12 Milliarden Parametern trainierte Modell kann heruntergeladen werden (136 GB).