Wohin entwickeln sich riesige AI-NLP-Modelle?

Aktuelle Lage

• LaMDA, das auf der Google I/O vorgestellt wurde, GPT-3, für das MS eine exklusive Lizenz erworben hat, sowie LLMs (Large Language Models), die Facebook selbst für Übersetzung und Content-Management entwickelt hat – große Unternehmen entwickeln jeweils ihre eigenen riesigen NLP-Modelle

• Während diese jeweils nicht öffentlich entwickelten Modelle im Alltag eingesetzt werden, gibt es praktisch keine Forschung dazu, wie sich Fehler von LLMs auf Menschen auswirken, welche Probleme es gibt und ob sie gelöst werden können.

• Im vergangenen Dezember verschärfte sich das Problem weiter, als Google Timnit Gebru, Co-Leiterin des Teams für Ethical AI, entließ

Neue Versuche

• Im von Huggingface geführten BigScience-Projekt arbeiten mehr als 500 Forschende aus aller Welt mit Hochdruck daran, ein Open-Source-LLM aufzubauen.

• Eine Arbeitsgruppe misst die Umweltauswirkungen von LLMs, einschließlich des CO2-Fußabdrucks durch Training und Betrieb der Modelle, unter Berücksichtigung der life-cycle costs von Supercomputern

• Eine Arbeitsgruppe beschäftigt sich damit, wie sich Trainingsdaten auf verantwortungsvolle Weise beschaffen lassen

---

Es war schwer, das zusammenzufassen, daher ist mir die Zusammenfassung nicht besonders gut gelungen.

So wie aus Sorgen und Hoffnungen gegenüber Technologie die Agenda des „Grundeinkommens“ entstanden ist, scheint mit den Erwartungen und Bedenken rund um GPT-3 aus dem vergangenen Jahr nun auch die Agenda der „Sorge über geschlossene AI-Entwicklung“ an die Oberfläche zu kommen. Ich würde diesen Text um das Jahr 2050 herum gern noch einmal lesen.