OpenAI hält vollständige Veröffentlichung des neuen Sprachmodells GPT-2 aus Risikogründen zurück (2019)
(slate.com)- GPT-2 ist eine groß angelegte KI zur Textgenerierung, die auf 8 Millionen Webseiten trainiert wurde und in der Lage ist, vorgegebene Sätze natürlich weiterzuschreiben
- OpenAI veröffentlichte statt des vollständigen Modells nur eine verkleinerte Version, da das Modell für Fake News oder Online-Identitätsbetrug missbraucht werden könnte
- Forschende wiesen darauf hin, dass diese Nichtveröffentlichung nur eine vorübergehende Reaktion sei und ähnliche Modelle bald reproduzierbar wären
- Einige kritisierten, OpenAI habe die Gefährlichkeit übertrieben, um Aufmerksamkeit zu erzeugen, während andere Fachleute dies als Anstoß für die Debatte über KI-Ethik bewerteten
- Dieser Fall markiert einen wichtigen Wendepunkt bei der Frage, wie ein Gleichgewicht zwischen Verantwortung bei der Veröffentlichung von KI und der Unvermeidbarkeit technologischer Verbreitung gefunden werden kann
OpenAIs Zurückhaltung bei der Veröffentlichung von GPT-2 und die Debatte über KI-Ethik
- OpenAI entwickelte mit GPT-2 ein neues Modell zur Textgenerierung, das je nach vorgegebenem Thema zusammenhängende Sätze erzeugen kann, verschob jedoch die vollständige Veröffentlichung aus Sicherheits- und Schutzgründen
- Stattdessen wurde nur eine verkleinerte Version veröffentlicht, während der beim Training verwendete Datensatz und der Trainingscode nicht öffentlich gemacht wurden
- Medien beschrieben dies mit Formulierungen wie „eine künstliche Intelligenz, die zum Wohl der Menschheit versiegelt werden müsse“ und reagierten damit überzogen; Fachleute brachten die Diskussion auf, dass die Gefahren übertrieben dargestellt worden seien
- Die Entscheidung löste eine Debatte darüber aus, wie weit die Veröffentlichung potenziell gefährlicher KI-Algorithmen erlaubt sein sollte
Technische Merkmale und Leistung von GPT-2
- GPT-2 ist ein Sprachmodell, das mit Texten von 8 Millionen Webseiten trainiert wurde und darauf ausgelegt ist, durch Vorhersage des nächsten Wortes in einem Satz zu lernen
- Es kann Sätze erzeugen, die stilistisch und thematisch natürlich an den Eingabetext anschließen
- Als Beispiel wurde der Satz „Im Andengebirge wurde eine Herde englischsprechender Einhörner entdeckt“ eingegeben, worauf GPT-2 einen Text in Form eines fiktiven Wissenschaftsartikels vervollständigte
- Es kann außerdem Texte in verschiedenen Stilformen wie Romanen, Kolumnen und Reden erzeugen
- Die erzeugten Sätze enthalten mitunter Wiederholungen, unnatürliche Themenwechsel oder unlogische Inhalte, wurden aber im Vergleich zu früheren Modellen als deutlich verbessert bei Kontextverständnis und Satzkohärenz bewertet
- GPT-2 kann mehrdeutige Wörter unterscheiden und seltene Verwendungen erkennen; möglich sind Anwendungen in Übersetzung, Chatbots und Schreibassistenz-Tools
Die Entscheidung zur Zurückhaltung und die Kontroverse darüber
- OpenAI befürchtete, dass GPT-2 für die Erzeugung von Fake News, das Vortäuschen von Online-Identitäten und die Verbreitung von Spam missbraucht werden könnte
- Daher wurde anstelle des vollständigen Modells nur eine verkleinerte Version veröffentlicht, während Trainingsdaten und Code nicht offengelegt wurden
- Viele KI-Forschende wiesen jedoch darauf hin, dass diese Nichtveröffentlichung nur eine vorübergehende Reaktion sei
- Robert Frederking von der Carnegie Mellon University erklärte: „Die von OpenAI verwendete Technik ist nicht neu, und andere Forschende können bald ähnliche Modelle bauen.“
- Es wurde die Ansicht geäußert, dass Institutionen mit ausreichendem Kapital und Know-how allein mit Cloud-Diensten wie AWS ähnliche Modelle aufbauen könnten
- Einige Forschende kritisierten, OpenAI habe die Gefahren übertrieben, um Aufmerksamkeit zu erlangen, und damit Forschungsmöglichkeiten in der Wissenschaft eingeschränkt
- David Bau vom MIT bewertete die Entscheidung hingegen als Geste zur Anstoßung einer Debatte über KI-Ethik und sagte, es sei positiv, dass OpenAI die Aufmerksamkeit auf dieses Problem gelenkt habe
Die Frage der Veröffentlichung von KI und ethischer Abwägung
- John Bowers vom Berkman Klein Center der Harvard University erklärte, die Frage, ob KI-Technologie veröffentlicht werden sollte, sei eine Kosten-Nutzen-Abwägung
- Er unterstütze die Veröffentlichung von Textgenerierungsalgorithmen, die zum Fortschritt der natürlichen Sprachverarbeitung beitragen, mahnte jedoch bei Bilderkennungstechnologien, die für Überwachung oder Manipulation missbraucht werden können, zur Vorsicht
- Besonders bei Deepfake-Technologie sei „der Schaden deutlich größer als der Nutzen“
- Laut Bowers zeigt diese Einschätzung die Unreife des KI-Bereichs
- Derzeit fehle im Bereich des Machine Learning ein systematischer Maßstab, um die gesellschaftlichen Auswirkungen und ethischen Überlegungen von Technologien zu bewerten
Grenzen der Kontrolle technologischer Verbreitung und historische Parallelen
- Wie die jüngere Geschichte zeigt, ist es wahrscheinlich erfolglos, die Verbreitung von KI-Werkzeugen zu unterdrücken oder zu kontrollieren
- Frederking verwies auf das Scheitern der Regulierung von Verschlüsselungstechnologien in den 1990er Jahren als ähnlichen Präzedenzfall
- Damals trieb die Regierung Gesetzesvorhaben zur Installation von Backdoors für die Kommunikationsüberwachung voran, die jedoch durch Phil Zimmermans Entwicklung des Verschlüsselungstools PGP unterlaufen wurden
- In der Folge wurden starke Verschlüsselungstechnologien auch im Ausland leicht verfügbar, und eine Regulierung wurde faktisch unmöglich
- Frederking betonte: „Wenn der Zeitpunkt für wissenschaftlichen Fortschritt gekommen ist, kann man ihn nicht aufhalten. Man kann nur entscheiden, wie man darauf reagiert.“
Fazit
- Die zurückgehaltene Veröffentlichung von GPT-2 gilt als wichtiger Fall rund um die Risiken von KI-Technologie und die Verantwortung bei ihrer Veröffentlichung
- OpenAIs Entscheidung macht das Spannungsverhältnis zwischen KI-Ethik, Transparenz und der Unvermeidbarkeit technologischer Verbreitung sichtbar
- Langfristig braucht es Maßstäbe, die Offenheit in der KI-Forschung mit gesellschaftlicher Sicherheit in Einklang bringen
7 Kommentare
Genauer gesagt scheint das hier gepostet worden zu sein, weil die Gründe, aus denen OpenAI zu Amodeis Zeiten GPT-2 nicht veröffentlichte, den Gründen ähneln, aus denen das Misos-Modell nicht veröffentlicht wird. Der damalige Amodei und der heutige Amodei haben sich kein bisschen verändert..
Wenn man das jetzt sieht, ist es schon irgendwie lustig, hahaha. Gleichzeitig ist es auch beängstigend, dass die Situation in nicht einmal zehn Jahren so geworden ist, dass es fast schon lächerlich wirkt.
Zur Einordnung: Wenn Sie sich den Inhalt des Beitrags ansehen, in dem GPT-2 erwähnt wird, oder das Erscheinungsjahr des Originalbeitrags 2019, erkennen Sie den Kontext, dass es darum geht, dass OpenAI früher mit GPT-2 ebenfalls viel Aufhebens machte – ähnlich wie kürzlich Anthropic ankündigte, das Mysos-Modell wegen zu hoher Gefährlichkeit nicht zu veröffentlichen.
Im Fall von HN scheint es die Gewohnheit zu geben, bei älteren Beiträgen das Jahr anzuhängen (ich weiß nicht, ob das automatisch geschieht), und ich fände es gut, wenn das auch bei GeekNews angezeigt würde.
Normalerweise wird das meiste übernommen, aber dieses hier wurde seltsamerweise ausgelassen und so verarbeitet. Ich werde das so anpassen, dass es nicht angerührt wird.
Versetzt sich Sam Altman in Oppenheimer hinein? Wenn es riskant ist, könnte man es doch nach sicheren Verbesserungen veröffentlichen; die Leute zugleich zur Nutzung zu ermutigen, erscheint mir nicht schlüssig. Ich denke, beim Fall Anthropic Mythos gilt dasselbe.
Bei dem, was Anthropic gesagt hat, hatte ich Vertrauen, aber warum klingt das, was OpenAI sagt, so wenig vertrauenswürdig?
Liegt es daran, dass Anthropic mit der Entwicklung von Zero-Day-Patches ein Show-and-Proof geliefert hat?
Oder daran, dass OpenAI dieses Repertoire schon mehrfach ausgespielt hat?
Hacker-News-Kommentare
Jemand sollte diese legendären OpenAI-Momente sammeln.
Zum Beispiel Dinge wie „GPT-2 ist zu gefährlich“, „64x64 DALL-E ist zu beängstigend“, „AGI erreicht“ oder „Q*/strawberry hat Matheaufgaben gelöst und die Forscher in Panik versetzt“.
Ich mag Codex auch, aber diese übertriebene PR ist zugleich lustig und ermüdend.
Ich habe heute den ganzen Tag versucht, mit Codex GPT-5.4, Claude Opus 4.6-1M, Gemini 3.1 Pro usw. einen einfachen UI-Bug zu beheben, bin aber gescheitert und habe am Ende den Code selbst geöffnet und gefixt.
Es war in 20 Minuten gelöst, und das Lustige ist, dass ich diese Sprache oder dieses Framework überhaupt nicht kannte.
Trotzdem hast du es in 20 Minuten behoben, also Vorsicht — du hast vielleicht etwas gelernt.
Ich halte das für die beste Methode, um ein klares mentales Modell zu behalten.
Bei UI-Bugs oder CSS sind Modelle wirklich schlecht. Unit-Tests sind Pflicht.
Diese Kontroverse wirkt wie eine Reaktion auf Mythos, aber ich denke, OpenAIs damalige Entscheidung war richtig.
Als GPT-2 veröffentlicht wurde, hat sich die Branche komplett verändert, und das war nicht bloß Forschung, sondern ein Signal für eine neue Ära.
Mythos zeigt ähnlich etwas, das es vorher nicht gab.
Ich habe das 250-seitige Whitepaper gelesen; die Hacking-Fähigkeiten waren erstaunlich, und ich hatte auch den Eindruck, dass sich die Sicherheit im letzten Monat stark verbessert hat.
Sich angesichts der gesellschaftlichen Auswirkungen mehr Zeit zu nehmen, ist etwas Positives.
Es war unbeabsichtigt richtig, aber die heutige Explosion minderwertiger Inhalte scheint wirklich ein Problem zu sein.
Sie sagten, dass synthetische Bilder, Audio und Video die Kosten für die Produktion gefälschter Inhalte senken würden und dass die Öffentlichkeit Online-Texten gegenüber skeptischer werden müsse — und genau da sind wir jetzt.
Passender Artikel
Erst habe ich die Jahreszahl übersehen und bin erschrocken.
OpenAI hat Schwierigkeiten bei der Kapitalbeschaffung, und auch das Altman-Profil im New Yorker fiel nicht gut aus, daher ist nachvollziehbar, dass man wieder zu einer PR-Strategie nach dem Muster „haltet Oma davon ab, erschossen zu werden“ zurückkehrt.
Es gibt dieses Sprichwort: „Wenn eine Technologie wirklich gefährlich wäre, würde sie nicht für 20 Dollar im Monat veröffentlicht.“
Wirklich gefährliche Dinge werden der Öffentlichkeit niemals zugänglich gemacht.
Umso erstaunlicher ist es, dass Experten diese simple Logik ignorieren.
Heutzutage bezieht sich „zu gefährlich, um veröffentlicht zu werden“ auf Anthropics Mythos.
Es soll so mächtig sein, dass nur genehmigte Unternehmen darauf zugreifen dürfen.
„Zu gefährlich, um veröffentlicht zu werden“ bedeutete in Wirklichkeit nur: „Die Modellgewichte werden nicht Open Source veröffentlicht.“
Am Ende wurden die Gewichte doch veröffentlicht, und der Kontext ist ein anderer als bei Anthropic Mythos.
Damals habe ich außerhalb von OpenAI zusammen mit Ben Mann Transformer-XL trainiert.
Ursprünglich wollten wir wie bei GPT-2.5 die Gewichte veröffentlichen, aber Freunde bei OpenAI haben uns zur Nichtveröffentlichung geraten.
Passender Beitrag
Später hat er seine Erfahrungen ausführlich dokumentiert.
Er schrieb, OpenAI habe höflich und aufrichtig mit ihm gesprochen und ihm sogar die Perspektive von Regierung und Geheimdiensten auf die Risiken erklärt.
Am Ende verzichtete er auf die Veröffentlichung des Modells, in der Überzeugung, dass „Vorbeugung besser ist als Heilung“.
Er sagte, er habe einen Präzedenzfall für den Tag schaffen wollen, an dem ein noch gefährlicheres Modell erscheint.
Gute Beiträge werden immer nachdem die Amerikaner schlafen gegangen sind gepostet.
Ich erinnere mich noch an das Einhorn-Beispiel für Artikelgenerierung aus GPT-2, das ich 2019 gelesen habe.
Damals war ich wirklich schockiert. Es war sogar eindrucksvoller als GPT-3.5 oder 4.