OPT – Metas Sprachmodell in GPT-3-Größe (175B)

"Open Pre-trained Transformer Language Model"

• Der Aufbau solch großer Sprachmodelle erfordert erhebliches Kapital, und Forschung ist schwierig, wenn nur API-Zugriff veröffentlicht wird
• Für interessierte Forschende wurden das vollständige Modell, experimenteller Code und Logbücher vollständig zum Download freigegeben
• Im Vergleich zu GPT-3 wird nur ein Siebtel des Carbon Footprint benötigt

[xguru]

https://github.com/facebookresearch/metaseq