MS und Nvidia stellen mit MT-NLG 530B das weltweit größte Sprachmodell vor

• Megatron-Turing Natural Language Generation

• 530 Milliarden Parameter, größer als die 175 Milliarden von GPT-3

• Zeigt eine Genauigkeit, die mit bisherigen Modellen nicht vergleichbar ist

→ darunter Satzvervollständigung, Sprachverständnis, schlussfolgerndes Alltagswissen und natürliches Sprachschlussfolgern

• 105 Layer, Transformer-basiert

• NVIDIA A100 Tensor Core GPU & HDR InifiniBand-Netzwerk

• Supercomputing-Cluster NVIDIA Selene und Microsoft Azure NDv4