Die Google-Mitarbeiter, die den Transformer erschufen

Acht Google-Mitarbeiter erfanden die moderne KI: die interne Geschichte

• Das wissenschaftliche Paper "Attention Is All You Need", das im Frühjahr 2017 verfasst wurde, hat acht Autoren.
• Sie waren alle Google-Forscher, und Noam Shazeer, der erfahrenste Mitwirkende, war überrascht, seinen Namen an erster Stelle zu sehen.
• Die Autoren beschlossen, die Praxis, Beiträge zu rangieren, zu "zerstören", setzten neben jeden Namen ein Sternchen und fügten die Fußnote hinzu: "Die Reihenfolge der Nennung ist zufällig."

Der Beginn des Umbruchs

• Dieses Paper brachte die Technik der neuronalen Netze im KI-Bereich voran und verwandelte sie in leistungsstarke digitale Systeme, die sich anfühlen, als stammten sie von einer außerirdischen Intelligenz.
• Diese Architektur dient als geheime Zutat für KI-Produkte wie ChatGPT, Dall-E und Midjourney.
• Fast sieben Jahre nach seiner Veröffentlichung hat das Paper legendären Status erreicht.

Die Architektur des Umbruchs: der Transformer

• Die Geschichte des Transformers beginnt mit dem vierten Autor namens Jakob Uszkoreit.
• Uszkoreit entwickelte auf Basis seiner Idee der Selbstaufmerksamkeit (self-attention) einen neuen Ansatz.
• Dieses Netzwerk kann Wörter übersetzen, indem es auf beliebige Teile eines Satzes Bezug nimmt, was dem System hilft, gute Übersetzungen zu erzeugen.

Zusammenarbeit und Innovation

• Uszkoreit war der Ansicht, dass ein Modell mit Selbstaufmerksamkeit schneller und effektiver sein könnte als rekurrente neuronale Netze.
• Diese Idee wurde durch die Zusammenarbeit mit anderen Forschern wie Illia Polosukhin und Ashish Vaswani weiterentwickelt.
• Sie verfassten ein Designdokument mit dem Titel "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Veröffentlichung des Papers und seine Wirkung

• Das Forschungsteam führte Sprachübersetzungen mit dem Transformer-Modell durch und maß die Leistung mit dem BLEU-Benchmark.
• Ihr neues Modell übertraf die Konkurrenz, und das größere Modell Big erreichte einen BLEU-Wert, der den bisherigen Rekord brach.
• Das Paper wurde kurz vor Ablauf der Frist eingereicht, und Google meldete rasch ein vorläufiges Patent für diese Arbeit an.

Googles Reaktion und Wandel

• Innerhalb von Google wurde diese Arbeit lediglich als ein weiteres interessantes KI-Projekt angesehen, und Google begann ab 2018 damit, den Transformer in Produkte zu integrieren.
• Im Vergleich zum radikalen Sprung von OpenAI und zu Microsofts mutiger Integration Transformer-basierter Systeme in die Produktpalette wirkte dieser Wandel jedoch zögerlich.

Autoren, die Google verließen

• Alle Autoren haben Google verlassen und arbeiten heute auf unterschiedliche Weise mit den Systemen, die sie geschaffen haben.
• Viele von ihnen verließen Google und wechselten zu neuen KI-Startups.

Meinung von GN⁺

• Dieser Artikel bietet interessante Einblicke in die Entwicklung der KI-Technologie, indem er die Entstehung und Weiterentwicklung des Transformer-Modells, das eine wichtige Rolle im KI-Bereich gespielt hat, detailliert beschreibt.
• Das Transformer-Modell ist heute eine Schlüsseltechnologie der Verarbeitung natürlicher Sprache in der künstlichen Intelligenz und eine wichtige Erfindung, die die Grundlage für dialogorientierte KI wie ChatGPT bildet.
• Der Artikel zeigt, wie das innovative Forschungsumfeld innerhalb von Google bedeutende technologische Durchbrüche möglich gemacht hat.
• Dass Google bei der kommerziellen Nutzung dieser Technologie jedoch einen eher konservativen Ansatz verfolgte, liefert eine wichtige Lehre über das Innovationstempo und die Strategie von Unternehmen.
• Unternehmen oder Entwickler, die diese Technologie einführen, sollten die Komplexität und den Ressourcenbedarf des Transformer-Modells berücksichtigen; die Vorteile, die sich daraus ergeben können, sind jedoch sehr groß.

[GN⁺]

Hacker-News-Kommentare

• Diskussion über Attention-Modelle:

  • Der Attention-Mechanismus ist zwar nicht neu, aber es gab Forschung, die gezeigt hat, dass er ausreicht, um in einem bestimmten Kontext die nächste Wortsequenz vorherzusagen.
  • Als dieses Framework 2018 verwendet wurde, zeigte es unerwartetes Verhalten, aber das war eine interessante Erfahrung.
  • Andere Gruppen stellten fest, dass die Berechnung einfacher Algorithmen in großem Maßstab zu besseren Ergebnissen führt.
  • Es ist ärgerlich zu behaupten, nur eine einzige Gruppe habe KI entdeckt und verändert.
  • Die Forschenden verdienen Anerkennung, aber sie haben die moderne KI nicht erfunden, sondern sie auf interessante Weise weiterentwickelt.
  • Derzeit möchte man zu deterministischeren Ansätzen zurückkehren: Weltmodelle, Speicher, Graphen, Energieminimierung usw.
  • Generative Modelle waren spannend und lehrreich, aber es ist unklar, ob sich AGI/SGI einfach durch das Hinzufügen weiterer Chips lösen lässt.

• Rückblick auf Googles Blütezeit:

  • Als man 2014 auf dem Höhepunkt von Google über die Rolle von Uszkoreit und des NLP-Teams sprach, wurde er gefragt, was er mit einem unbegrenzten Budget tun würde, und er antwortete: „Ich habe so ein Budget.“

• Gespräch über die Geschichte der KI:

  • In einem Gespräch mit Geoffrey Hinton und Fei-Fei Li ging es um die Geschichte der KI, Hintons Forschungsrichtung und Lis Einsatz für ImageNet.

• Vergleich zwischen Google und OpenAI:

  • Es ist überraschend, dass Google nicht OpenAI geworden ist; Google hatte früh DeepMind und viele Promovierte.

• Hinweis auf die Zusammenarbeit der Google-Mitarbeitenden:

  • Es wird betont, dass alle Autoren Google-Mitarbeitende waren und im selben Büro arbeiteten, was darauf hindeutet, dass persönliche Zusammenarbeit die beste Technologie für Innovation ist.

• Kritik an Googles KI-Strategie:

  • Keiner der Autoren arbeitet heute noch bei Google, und man wundert sich darüber, wie schlecht der Google-CEO mit KI umgegangen ist.

• Dokumente zur KI-Geschichte innerhalb von Google:

  • Google-Mitarbeitende können wichtige Momente der KI-Geschichte einsehen, die im Google-Intranet gespeichert sind, etwa die erste Transformer-Implementierung und Reviewer-Kommentare.

• Aufmerksamkeit für die Vielfalt der Autoren:

  • Sechs der acht Autoren wurden außerhalb der USA geboren; die beiden übrigen sind jeweils das Kind eines deutschen Green-Card-Inhabers, der vorübergehend in Kalifornien lebte, und ein Amerikaner der ersten Generation aus einer Familie, die vor Verfolgung geflohen ist.

• Unterstützung für R&D-Abteilungen:

  • Man ist dafür, steuerfreie R&D-Abteilungen zu unterstützen, und hofft, dass Ideen, die vielleicht nur einmal pro Jahrzehnt auftauchen, die gesamte Wirtschaft antreiben können.
  • Die Wunder des modernen Computings sind das Ergebnis des Ausbaus von R&D, das sich nicht sofort auf das eigene Geschäftsergebnis ausgewirkt hat.