Turing-NLG, das von MS vorgestellte Sprachmodell mit 17 Milliarden (17b) Parametern

• Transformer-basiert

• Das bislang größte Modell mit mehr als dem Zehnfachen der Parameter im Vergleich zu BERT-Large 340M, RoBERTa 355M und OpenAI GPT-2 1.5b

• Möglich dank DeepSpeed und ZeRO

Sogar die Zusammenfassung auf der Vorstellungsseite soll von Turing-NLG selbst erstellt worden sein.

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."