Interview mit Greg Brockman: KI wird bald explosionsartig wachsen – was kommt als Nächstes?

• Greg Brockman ist der Ansicht, dass OpenAI zur Erreichung seiner AGI-Mission über die Grenzen einer Non-Profit-Struktur hinausgehen und sich eine gewinnorientierte Gesellschaft sowie massive Rechenkapazitäten sichern musste
• Die technologischen Wendepunkte bei OpenAI führten von der Skalierung von PPO in Dota über das semantische Lernen von Sprachmodellen bis zur Neubewertung der AGI-Kriterien nach GPT-4
• Die KI-Entwicklung wird bereits durch KI beschleunigt; das Schreiben von Code wird schnell ersetzt, doch bei der Architektur von Code-Strukturen sind menschliche Experten seiner Ansicht nach weiterhin stark
• Künftig ist der zentrale Engpass Compute, und OpenAI will die technologischen Vorteile durch Rechenzentren und kostenlosen Zugang breit verteilen
• Iterative Bereitstellung, Sicherheit, Neutralität und Regulierung sind allesamt zentrale Aufgaben für Produkt und Gesellschaft, und der Maßstab für Erfolg ist, dass AGI der gesamten Menschheit nützt

---

Gründung von OpenAI und der Strukturwandel

• Warum der Wechsel von Stripe zu KI

  • Greg Brockman hielt die Probleme, an denen er bei Stripe arbeitete, nicht für solche, mit denen er sich sein ganzes Leben beschäftigen wollte, und kam zu dem Schluss, dass ein sinnvolles Leben möglich wäre, wenn er Einfluss darauf nehmen könnte, wie sich KI in der Welt entfaltet
  • Als Brockman Stripe verlassen wollte, riet Patrick Collison ihm, mit Sam Altman zu sprechen, und Sam sah nach wenigen Minuten, dass Brockman die Entscheidung zu gehen bereits getroffen hatte
  • Als Brockman sagte, dass er über ein KI-Unternehmen nachdenke, antwortete Sam, dass auch er im KI-Bereich etwas starten wolle und man in Kontakt bleiben solle; daraus entwickelten sich 2015 die Gespräche über die Gründung eines Forschungslabors

• Die Gründung des Forschungslabors 2015 und das frühe Team

  • DeepMind wirkte damals wie ein „800-Kilo-Gorilla“ mit Forschern, Kapital, Daten und Ergebnissen, und schon vor der Veröffentlichung von AlphaGo war der Schwung klar erkennbar
  • Die Kernfrage lautete: „Ist es zu spät, um ein Forschungslabor zu gründen und viele Spitzenforscher zusammenzubringen, oder ist es möglich?“ Es gab viele Gründe, warum es schwierig wäre, aber niemand kam zu dem Schluss, dass es unmöglich sei
  • Sam Altman und Brockman kamen zu dem Schluss: „Wir müssen es tun“, und Brockman begann ab dem nächsten Tag in Vollzeit mit dem Aufbau der Organisation
  • Zum frühen Konzept gehörten Ilya Sutskever, Dario Amodei, Chris und Greg Brockman, doch es kam nicht vollständig zustande; Chris ging zu Google Brain, und unter anderem zeigte John Schulman Interesse
  • Während etwa zehn Personen fragten, „wer noch dabei ist“, schlug Sam ein Offsite vor und versammelte Leute in Napa – ohne formales Angebot, Organisationsstruktur oder fest zugesagte Teilnehmer
  • Beim Offsite in Napa entstand eine Richtung, die fast schon dem technischen Plan für die folgenden zehn Jahre entsprach; im Kern ging es um das Lösen von Reinforcement Learning, das Lösen von unüberwachtem Lernen und eine Strategie, schrittweise immer komplexere Objekte zu trainieren

• Die Grenzen der Non-Profit-Struktur und die gewinnorientierte Gesellschaft

  • 2017 begann OpenAI zu berechnen, welche Voraussetzungen und welches Ausmaß an Compute nötig wären, um AGI tatsächlich zu bauen, und kam zu dem Schluss, dass dafür sehr große Computer erforderlich seien
  • Man war der Ansicht, dass die besondere Computing-Hardware von Cerebras weit über das rechnerisch benötigte Niveau hinausgehen könnte, und dass exklusiver Zugang oder der Aufbau großer Rechenzentren einen erheblichen Vorteil beim Bau von AGI bringen würden
  • Man sah bei der Finanzierung einer Non-Profit-Organisation eine Obergrenze, und Elon Musk, Sam Altman, Ilya Sutskever und Greg Brockman einigten sich darauf, dass der einzige Weg zur Erfüllung der OpenAI-Mission darin bestehe, eine mit OpenAI verbundene gewinnorientierte Gesellschaft zu schaffen
  • Für den Bau von AGI sei Kapital nötig, doch mit einer reinen Non-Profit-Struktur seien 100 oder 500 Millionen US-Dollar möglich, 1 Milliarde US-Dollar aber äußerst schwer erreichbar

• Interne Spannungen und die Entlassung von Sam Altman

  • In einer Organisation, die glaubt, Maschinen mit menschlichem Intelligenzniveau schaffen zu können, bekommen typische firmeninterne Machtfragen wie Entscheidungsträger, die in Entscheidungen einfließenden Werte und die Verteilung von Verdiensten ein existenzielles Gewicht
  • Brockman sah in einem Videoanruf, dass das Board ohne Sam versammelt war, und erhielt die Mitteilung, dass der Verwaltungsrat entschieden habe, Sam Altman abzusetzen
  • Er bat um weitere Informationen, bekam jedoch zur Antwort, dass es nichts Weiteres zu teilen gebe, und ihm wurde außerdem mitgeteilt, dass auch er aus dem Board entfernt werde, aber im Unternehmen bleiben solle, da er für die Mission wichtig sei
  • Da Brockman weder Gründe noch Feedback erhielt, kam er nach einem Gespräch mit seiner Frau direkt nach dem Anruf zu dem Schluss, dass er zurücktreten müsse
  • Am Tag seines Rücktritts gingen massenhaft Nachrichten ein, dass Sam und Brockman bei allem, was sie als Nächstes tun würden, gemeinsam unterstützt würden, und enge Mitarbeiter traten noch am selben Tag ebenfalls zurück
  • Fünf Personen, darunter Sam, begannen mit Überlegungen für ein neues Unternehmen, und Brockman schätzte die Chance, das Unternehmen zurückzugewinnen, auf 10 %
  • Als das Board am Sonntagabend die Interims-CEO Mira durch eine neue Person ersetzte, regte sich im Unternehmen Widerstand, und der Plan, wie ein kleines „Rettungsboot“ nur die erwarteten Neuzugänge mitzunehmen, wuchs zu einer Situation an, in der fast alle aufgenommen werden mussten
  • Selbst kurz vor Thanksgiving stornierten viele Mitarbeiter ihre Heimflüge und versammelten sich im Büro, und auf dem Petitionsdokument wollten so viele Menschen gleichzeitig unterschreiben, dass Google Docs ins Stocken geriet
  • Brockman schaute im Morgengrauen auf Twitter und war sehr erleichtert, als er sah, dass Ilya die Petition unterschrieben und gepostet hatte, dass er wolle, dass das Unternehmen wieder zusammenfinde

• Versöhnung mit Ilya Sutskever und Lehren über Führung

  • Ilya und Brockman standen sich so nahe, dass Ilya sogar die zivile Trauung von Brockman leitete, und beide hatten schwierige Zeiten gemeinsam durchgestanden
  • Danach verbrachten die beiden viel Zeit damit, Angestautes oder nie Ausgesprochenes zu verstehen und in Worte zu fassen, und Brockman hatte das Gefühl, durch diesen Prozess einen Abschluss gefunden zu haben
  • Nach dem Vorfall versuchten Wettbewerber, Mitarbeiter abzuwerben, und es mag mehr Geld oder bessere Angebote gegeben haben, doch an jenem Wochenende verlor OpenAI nicht eine einzige Person, und niemand nahm ein Konkurrenzangebot an
  • Als Ilya ging, war das fast der einzige Moment in der Geschichte von OpenAI, in dem Brockman das Gefühl hatte, nicht weitermachen zu wollen; er musste neu herausfinden, warum diese Arbeit wichtig war und warum sich der Schmerz lohnte
  • In einer Auszeit trainierte er Sprachmodelle auf DNA-Sequenzen und wandte die Technologie in einem für ihn persönlich bedeutungsvollen Bereich an, indem er sich gemeinsam mit seiner Frau dafür interessierte, was KI für Gesundheitsprobleme bei Tieren tun könnte
  • Rückblickend bestanden seine Fehler meist darin, Entscheidungen, von denen er wusste, dass sie getroffen werden mussten, zu lange hinauszuzögern; die Lehre, die er immer wieder gezogen habe, laute: Triff schwierige Entscheidungen und führe schwierige Gespräche

Technischer Wendepunkt und Beschleunigung der KI-Entwicklung

• Aufeinanderfolgende Momente, in denen es sich „echt“ anfühlte

  • Die Entwicklung von OpenAI war keine einzelne Erkenntnis, sondern ein fortlaufender Prozess von Momenten, in denen es sich „echt“ anfühlte
  • Der frühe Start war der Moment, in dem man ein Team zusammenbringen und eine Mission verfolgen konnte, aber am nächsten Tag gab es im Büro weder einen klaren Plan, was zu tun war, noch überhaupt ein Whiteboard

• Die von Dota und PPO gezeigte Skalierbarkeit

  • Dota war der erste große Erfolg und zeigte, dass mit mehr Compute auch die Ergebnisse größer werden
  • Das Dota-Projekt war ursprünglich der Versuch, neue Methoden zu entwickeln, weil man davon ausging, dass bestehendes Reinforcement Learning nicht skalieren würde; der verwendete Algorithmus war PPO
  • Man ging davon aus, dass PPO, das jeden Zeitschritt plant und keine Hierarchie hat, sich von der menschlichen Art unterscheidet, einen Tag zu planen, viele Schwächen hat und nicht skalieren würde, entschied sich aber, die Baseline bis an ihre Grenzen auszureizen
  • Durch die fortgesetzte Skalierung von PPO übertraf man schließlich die Leistung der besten menschlichen Spieler, was zur Erkenntnis führte, dass einfache Algorithmen und groß angelegter Compute auch in der Praxis funktionieren
  • Die Dota-Umgebung war eine komplexe Umgebung, in der Programmieren, Vorausschauen oder Suchen schwierig war, und erforderte fast menschenähnliche Intuition
  • Das verwendete neuronale Netz hatte von der Zahl der Synapsen her eher ein „kleines Insektengehirn“, und es blieb die Frage, was passieren würde, wenn man denselben Rechenansatz näher an die Größe eines menschlichen Gehirns heran skalierte

• Sprachmodelle, semantisches Lernen und veränderte Maßstäbe nach GPT-4

  • Die Arbeit unsupervised sentiment neuron aus dem Jahr 2017 wird als der erste Moment genannt, in dem man sah, dass aus dem Ziel des Sprachmodellierens Semantik entsteht
  • Obwohl das Netz nur darauf trainiert wurde, das nächste Zeichen vorherzusagen, lernte es, die positive oder negative Stimmung eines Satzes zu verstehen, und zeigte damit, dass es nicht nur Kommas sowie die Positionen von Substantiven und Verben, sondern auch die Bedeutung eines Satzes lernen kann
  • Während man mit GPT-4 arbeitete, kam die Frage auf: „Warum ist das kein AGI?“, und obwohl es flüssig über gewünschte Themen sprechen konnte, fehlte offensichtlich noch etwas
  • Es ist möglich, dass die zwei Monate vor der Veröffentlichung von GPT-4 angelegten AGI-Maßstäbe nicht zu den tatsächlichen Fähigkeiten von GPT-4 passten, und man geht davon aus, dass es auch künftig noch Durchbruchsmomente in Richtung der nächsten Stufe geben wird

• Die Verbindung von Vorhersage, unüberwachtem Lernen und Reinforcement Learning

  • Das Vorhersagen des nächsten Wortes wirkt banal, doch es entstand die Sichtweise, dass etwas, das Einsteins nächsten Satz wirklich vorhersagen kann, mindestens so intelligent wie Einstein sein muss
  • Der Kern von Vorhersage besteht nicht darin, Bekanntes richtig zu treffen, sondern vorherzusagen, was in einer völlig neuen Situation als Nächstes kommt, die man noch nie gesehen hat
  • Das Training von Modellen wird in unüberwachtes Lernen unterteilt, bei dem aus statischen, beobachteten Daten gelernt wird, was als Nächstes kommt, und in Reinforcement Learning, bei dem die KI selbst Handlungen auswählt, Beobachtungen der Welt erhält und aus ihren eigenen Daten lernt
  • Die in beiden Stufen eingesetzten Techniken sind grundlegend dieselben; was sich ändert, ist die Datenstruktur

• Die Phase, in der KI die KI-Entwicklung beschleunigt

  • Man geht davon aus, dass mit der Anwendung von KI auf den eigenen Entwicklungsprozess eine Phase begonnen hat, in der sich das Entwicklungstempo immer weiter beschleunigt
  • Seit ChatGPT hat sich der interne Entwicklungsprozess um 10–20 % beschleunigt, und neuere Coding-Tools verändern die Art des Software Engineering grundlegend
  • Die meisten Engpässe bei der Modellproduktion liegen in Software, etwa bei der Systemimplementierung, der Skalierung und der Verwaltung großer Computer
  • Man geht davon aus, dass KI bald ein Stadium erreicht, in dem sie eigene Forschungsideen entwickelt, Experimente durchführt und Tests ausführt
  • Wie hoch der Anteil des Codes ist, der derzeit nicht von KI geschrieben wird, sei schwer zu sagen und liege auf einem „verschwindenden Niveau“; wenn der richtige Kontext und die richtige Struktur gegeben sind, sei KI beim eigentlichen Schreiben von Code besser als Menschen
  • Bei der Entwicklung der Codestruktur, etwa der Platzierung von Modulen, den Beziehungen zwischen Komponenten oder der Definition bestimmter Schnittstellen, seien menschliche Expertinnen und Experten jedoch weiterhin deutlich besser

• Neue Ideen und die Nichtveröffentlichung von chain of thought

  • Man geht davon aus, dass die Phase näher rückt, in der KI neue Ideen hervorbringt, auf die Menschen nicht gekommen wären
  • Beim eigenen Chipdesign im Jahr 2024 wurde OpenAI-Technologie eingesetzt, um die Schaltungsfläche zu verkleinern; die vom Modell erzeugte Optimierung stand zwar bereits auf einer menschlich erstellten Liste, ermöglichte aber eine schnellere Umsetzung von Dingen, für die zuvor die Zeit fehlte
  • In Mathematik und Physik arbeitet man an offenen mathematischen Problemen und offenen physikalischen Problemen; bei einem bestimmten Problem der Quantenphysik habe man kürzlich entgegen den Erwartungen der Community eine Lösung gefunden und sogar eine elegante Formel hervorgebracht
  • OpenAI bemüht sich, Destillation zu erschweren, und schützt insbesondere Elemente wie chain of thought, die zwar Teil des Modells sind, für die Ausgabe des Ergebnisses an Nutzende aber nicht essenziell sind
  • Der zentrale Vorteil von OpenAI liegt nicht in einem einzelnen bestimmten Modell, sondern in der Maschine, die Modelle baut
  • Einer der Gründe, kein Reasoning zu zeigen, ist die Verhinderung von Destillation; ein noch wichtigerer Grund ist die Interpretierbarkeit
  • Wenn chain of thought darauf trainiert wird, gut auszusehen, geht die Treue zum tatsächlichen Denkprozess verloren, und das Modell kann ein Reasoning erzeugen, das so aussieht, wie Nutzende es erwarten, statt die echten Gründe wiederzugeben
  • OpenAI traf früh die Entscheidung, der Versuchung zu widerstehen, chain of thought in eine für Nutzende ansprechend aussehende Form zu trainieren, und neigte aus Wettbewerbs- und Sicherheitsgründen dazu, Zwischengedanken nicht offenzulegen

Compute-Beschränkungen, Rechenzentren und Produktfokus

• Eine Welt, in der Compute zum zentralen Engpass wird

  • Künftig bewegen wir uns insgesamt auf eine Welt mit Compute-Beschränkungen zu
  • Der Wert, den Modelle schaffen, geht über das bloße Beantworten einfacher Fragen hinaus und erweitert sich auf den Zugang zu Gesundheitsinformationen, die Integration verschiedener Datenquellen, die Suche in unternehmensinternen Wissensdatenbanken, das Lösen schwieriger Probleme und das Schreiben von Software, die besser ist als die von Menschen
  • Die Fortschritte von GPT-5 zu 5.1, 5.2 Codex und weiter zu 5.4 waren sehr groß, und die Fähigkeit der Modelle, die Absicht der Nutzer zu verstehen und sich an deren Ziele anzupassen, hat sich stark verbessert
  • Wenn man Modelle auf Oberflächen wie Codex bringt, können Entwickler viel mehr erreichen als zuvor
  • Selbst wenn man jedem Menschen auf der Welt nur eine einzige GPU geben wollte, wären 8 Milliarden GPUs nötig, doch die aktuelle Entwicklung kommt nicht einmal annähernd auf dieses Niveau
  • Heute gelten mehrere Hunderttausend GPUs als große Größenordnung, künftig könnten es Millionen von GPUs werden, doch weltweit gibt es immer noch viel zu wenig Compute, und um diese Technologie zu allen zu bringen, wird sehr viel mehr benötigt

• Rechenzentrumsstrategie und physische Infrastruktur

  • OpenAI hat viel Aufwand in den Aufbau von Compute investiert, weil das Unternehmen antizipierte, was kommt, und will sich auf die Mission konzentrieren, Modelle breit für alle verfügbar zu machen
  • Die Strategie, viel Aufwand und Geld in Rechenzentren zu stecken, wurde von Wettbewerbern verspottet, doch inzwischen dürfte sie nicht nur geschäftlich, sondern auch für die Mission, die Technologie zu allen zu bringen, ein Vorteil sein
  • Rechenzentren für KI kommen den „größten Maschinen, die die Menschheit baut“, nahe, und ihr Zweck besteht darin, für Menschen wichtige Probleme zu lösen und ihnen beim Erreichen ihrer Ziele zu helfen, etwa Krebs zu heilen, Unternehmen zu betreiben oder alltägliche Fragen zu beantworten
  • Bei Rechenzentren für bestimmte Einzelprobleme hält man es nicht einmal für ausgeschlossen, dass noch in diesem Jahr so etwas passiert, etwa dass ein riesiges Rechenzentrum in Dakota ausschließlich an der Lösung von Krebs arbeitet
  • Rechenzentren sind derzeit sehr empfindliche Großmaschinen; in der Vergangenheit kam es vor, dass Kabel zu straff gespannt waren, Probleme mit der Signalintegrität auftraten und Computer dadurch nicht funktionierten
  • Die Wartung der heutigen Systeme wird physisch von Menschen durchgeführt, könnte sich künftig aber in Richtung Robotik verlagern
  • Rechenzentren im Weltraum bringen viele technische Probleme mit sich, doch weil die Nachfrage nach Compute so groß ist, müsse man alle Optionen in Betracht ziehen

• Zuteilung von Compute und Zugänglichkeit

  • Wenn Compute knapp ist, wird die Frage, wohin Compute verteilt werden soll, zwischen unterschiedlichen Anforderungen wie „Bildgenerierung“ und „Heilung von Krebs“ zu einer gesellschaftlich wichtigen Frage
  • OpenAI ist der Ansicht, dass alle Zugang zu Compute haben sollten; ein Grund für die Free Tier von ChatGPT ist auch, die Technologie breit nutzbar zu machen, damit Menschen sie direkt verstehen und mitprägen können, wie sie eingesetzt wird
  • Auch ein „Ivory-Tower“-Ansatz, bei dem Probleme zuerst gelöst und Ergebnisse erst danach verteilt werden, hat Vorteile, doch bei OpenAI liegt der Schwerpunkt eher darauf, die Vorteile der Technologie breit zu verteilen

• Die Verbindung von Enterprise und Consumer

  • In der nächsten Phase von OpenAI wird Enterprise sehr wichtig sein, und die Wirtschaft verwandelt sich direkt vor unseren Augen in eine Compute-basierte Ökonomie
  • In der Softwareentwicklung war der Wandel bereits sichtbar, und in allen Bereichen, in denen mit Computern gearbeitet wird, dürfte sich das Modell von „Menschen arbeiten mit Computern“ hin zu „Computer arbeiten für Menschen“ verschieben
  • Die Grenzen zwischen Enterprise und Consumer könnten verschwimmen, und die Veränderung, dass Gründen viel einfacher wird, zeigt sich bereits
  • Ein Freund gab während eines Gesprächs über die App, die seine jüngere Schwester sich wünschte, deren Beschreibung in Codex ein; als er ihr einige Stunden später die App zeigte, fragte sie: „Wer hat die gemacht?“, und er antwortete: „Du.“
  • Codex wird nicht als Werkzeug nur für Softwareingenieure dargestellt, sondern als Tool, das jeden mit Vision und Umsetzungswillen zu einem Builder machen kann

• Persönliche KI und ein einziges technisches System

  • Der Consumer-Bereich, auf den OpenAI sich besonders konzentriert, ist nicht Unterhaltung oder Selbstausdruck, sondern das Erreichen von Zielen
  • Wenn es rund 4 Milliarden Smartphone-Nutzer gibt, dann sollte jeder eine persönliche KI oder persönliche AGI haben, die ihn gut kennt, seinen persönlichen Kontext versteht, vertrauenswürdig ist und die man um Rat fragen kann
  • Eine persönliche KI kann proaktiv handeln, etwa Tickets kaufen, wenn ein Lieblingsmusiker in die Stadt kommt; in manchen Fällen könnte sie erst nachfragen, in anderen je nach Vorabfreigabe sofort handeln
  • Dabei gilt weiterhin die Voraussetzung, dass die Ziele vom Nutzer selbst festgelegt werden und der Nutzer die Kontrolle behalten muss
  • Menschen, die Zugang zu persönlicher KI oder persönlicher AGI haben sollten, seien nicht nur 4 Milliarden, sondern 8 Milliarden, also der gesamte Planet
  • Ob im Beruf oder im Privatleben: Man könnte mehrere Instanzen haben, doch grundsätzlich wird es als ein einziges technisches System betrachtet

Bereitstellung, Sicherheit, Neutralität, Regulierung

• Iterative Bereitstellung

  • Iterative Bereitstellung (iterative deployment) ist einer der zentralen Pfeiler, mit denen OpenAI bisher seine Technologie für Menschen nützlich gemacht und seine Mission verfolgt hat
  • Es gäbe auch den Weg, AGI im Geheimen zu entwickeln und nichts auszurollen, um dann irgendwann per Knopfdruck zu veröffentlichen – dann müsste man jedoch den ersten Kontakt eines mächtigen Systems mit der realen Welt auf einmal bewältigen
  • Wenn man dagegen immer leistungsfähigere Systeme mehrfach bereitstellt, befindet man sich irgendwann in der Situation, das „100. System“ zu handhaben, kann aus den 99 vorherigen Problemlösungen lernen, und die Welt bekommt Zeit, sich anzupassen
  • Vor der Bereitstellung von GPT-3 dachte man stark an das große Bild, etwa an Desinformation, doch der größte tatsächliche Missbrauch war medizinischer Spam, der Menschen verschiedene Medikamente anpries
  • Iterative Bereitstellung bedeutet, Zwischenversionen in die Welt zu bringen, um realen Missbrauch und reale Risiken zu beobachten und daraus zu lernen; es bedeutet nicht, einfach blind zu veröffentlichen
  • Für eine so schnell ausgerollte und mächtige Technologie wie KI gibt es kein Playbook, und auch OpenAI muss beim Aufbau dazulernen

• Sicherheit ist eine Produktfunktion

  • Sicherheit ist kein bloßes Zusatzmerkmal, sondern eine zentrale Produktfunktion, denn niemand will ein Modell, das nicht mit ihm aligned ist
  • Nutzer wollen ein Modell, dem sie in jeder Situation vertrauen können und das das Richtige tut
  • OpenAI ist der Ansicht, deutlich mehr in Sicherheit investiert zu haben, als viele Menschen wahrnehmen – möglicherweise sogar mehr als jedes andere Labor
  • Da ChatGPT das weltweit am breitesten eingesetzte Beispiel für ein ausgerolltes Sprachmodell ist, muss OpenAI auf Sicherheit achten und erklärt, das auch immer getan zu haben
  • Es gebe keinen nachhaltigen Zustand, in dem ein KI-Entwickler erfolgreiche Produkte baut, ohne sehr stark in Sicherheit zu investieren

• Gesellschaftliche Resilienz und die OpenAI Foundation

  • Sicherheit hängt nicht nur mit dem Modell selbst zusammen, sondern auch damit, wie die Gesellschaft Resilienz aufbaut
  • Bei Autos braucht es Sicherheitsgurte und Straßen, bei Elektrizität Sicherheitsstandards sowie Regeln für die Platzierung von Strommasten und Hochspannungsleitungen
  • Auch bei KI kommt es nicht nur auf das Modell selbst an, sondern darauf, wie sie in die Welt integriert wird und wie resilient die Gesellschaft ist
  • Einer der zentralen Schwerpunkte der OpenAI Foundation ist es, der Gesellschaft dabei zu helfen, in eine resiliente Schicht für KI zu investieren und sie aufzubauen

• Politische Voreingenommenheit von Modellen, Neutralität und das Lernen von Nutzerpräferenzen

  • OpenAI sagt, viel dafür zu tun, dass Modelle neutral bleiben und die Wahrheit repräsentieren; welche Werte und Verhaltensweisen in die Modelle einfließen, könne man in den öffentlich einsehbaren Spezifikationen auf der Website sehen und dazu auch Feedback geben
  • Screenshots auf Twitter sind nicht immer vollständig ehrlich, weil Antworten durch Speicher, verborgene Anweisungen oder den Kontext vorheriger Gespräche in eine bestimmte Richtung gelenkt worden sein können
  • Für manche Fragen gibt es keine richtige Antwort, und wenn verlangt wird, mit nur einem Wort zu antworten, kann unabhängig von der Antwort sofort ein Bias-Vorwurf entstehen
  • Der für OpenAI entscheidende Kern ist Wahrheit sowie eine KI, die die Nutzer repräsentiert
  • Die Art und Weise, wie Modelle auf Nutzerpräferenzen hin trainiert werden, hat sich weiterentwickelt; zeitweise neigten Modelle dazu, eher das zu sagen, was Nutzer hören wollten
  • Das Ziel ist, dass Modelle die langfristigen Ziele und das langfristige Wohlergehen der Nutzer unterstützen; dafür wurden technische Verbesserungen vorgenommen, damit es nicht zu „Reward-Hacking“ für kurzfristige Zufriedenheit kommt

• Regulierung, Sorgen um Rechenzentren und nationale Strategie

  • KI-Regulierung sollte sicherstellen, dass die Technologie letztlich den Menschen zugutekommt, und sie muss sich damit befassen, dass Institutionen, Berufe und Lebenswege, die einst als stabil galten, es möglicherweise nicht mehr sind
  • Zu den zentralen Regulierungsfragen gehört, ob alle Zugang zu Compute haben sollten und wie verhindert werden kann, dass sich der durch die Technologie geschaffene zusätzliche wirtschaftliche Wert an nur einem Ort konzentriert
  • Es gebe Menschen, die sagen, dass durch die Nutzung von ChatGPT ihr eigenes Leben oder das eines geliebten Menschen gerettet wurde; solche Anwendungen sollten unterstützt und geschützt werden
  • Gespräche mit Ärzten oder Anwälten sind rechtlich geschützte privilegierte Kommunikation, für KI gibt es ein solches System jedoch noch nicht
  • Es gibt Sorgen, dass Rechenzentren die Strompreise erhöhen könnten, und OpenAI habe sich verpflichtet, dafür zu sorgen, dass das nicht geschieht
  • Es werde viel über den Wasserverbrauch von Rechenzentren gesprochen, doch OpenAI erklärt, dass seine Rechenzentren sehr wenig Wasser verbrauchen und Behauptungen über hohen Verbrauch Fehlinformationen seien
  • Der geringe Wasserverbrauch liege an einer geschlossenen Kreislaufstruktur: Man füllt einmal eine Wassermenge in der Größenordnung eines Schwimmbeckens ein und zirkuliert sie dann fortlaufend
  • Die aktuelle Lage gleiche eher einer globalen KI-Renaissance als einem „globalen KI-Wettrennen“, und die Dynamik zwischen Staaten sei noch nicht vollständig festgelegt
  • Dass die USA bei KI führend sind, sei wichtig, damit demokratische Werte geschützt und bewahrt werden
  • Staaten erkennen zunehmend, dass sie in irgendeiner Form teilnehmen müssen, wenn KI zur Grundlage wirtschaftlicher und nationaler Sicherheit wird, und dass sie souveräne KI-Strategien brauchen
  • Wenn Chip- und Technologieexporte zu stark eingeschränkt werden, könnten andere Länder eigene Wettbewerber aufbauen oder sich auf andere Anbieter stützen; sind die Regeln zu locker, könnten die USA ihren Vorsprung verlieren
  • Führung bedeutet nicht nur, vorne zu liegen, sondern auch, die Welt mitzunehmen

Arbeitsplätze, benötigte Kompetenzen und eine wünschenswerte Zukunft

• Unsicherheit bei Arbeitsplätzen und was wir gewinnen

  • Es ist ungewiss, wie sich KI genau entfalten wird, und sie kann sich auf überraschende Weise zeigen; die heutige KI und die heutige Welt unterscheiden sich zudem von dem, was Science-Fiction vorausgesagt hat
  • Dass Veränderungen kommen, lässt sich nicht leugnen; was verloren geht, ist leicht zu sehen, aber was wir gewinnen ist im Vorfeld deutlich schwerer zu erkennen
  • Würde man jemandem aus dem Jahr 1950 erklären, dass man über Computer, Mobiltelefone und GPS innerhalb von drei Minuten ein Auto zum aktuellen Standort rufen kann, würde das seltsam klingen; tatsächlich haben solche Technologieinvestitionen aber zu Tausenden, Zehntausenden und Hunderttausenden von Anwendungen geführt
  • Im Kern geht es bei KI um Befähigung und menschliche Handlungsfähigkeit; einige Institutionen und Berufe könnten weniger stabil sein als gedacht, was Auswirkungen auf die Menschen haben wird
  • Beim Blick auf mehrere Generationen von KI-Technologien zeigt sich aus seiner Sicht eine Tendenz: Wer frühere Technologiegenerationen zuerst erlernt hat, profitierte auch in der nächsten Generation am stärksten
  • Die zentralen Kompetenzen sind Handlungsfähigkeit, Vision und Ideen; die Eintrittshürde, es einfach auszuprobieren, ist so niedrig wie nie zuvor
  • Die Welt muss darüber nachdenken, wie alle Menschen in dieser Phase von Unsicherheit und Wandel unterstützt werden können; die Wirtschaft wird sich zu einer Compute-basierten Ökonomie verändern

• Was die junge Generation lernen sollte

  • Für Schülerinnen und Schüler, Studierende und Menschen am Anfang ihrer Karriere ist es entscheidend, KI tiefgreifend zu nutzen und zu verstehen, wie man das Maximum aus KI herausholt
  • Er hält es für möglich, dass wir auf eine Welt zusteuern, in der alle zu Managern von Agenten werden, ja sogar zu CEOs autonomer KI-Unternehmen
  • Man kann sich eine Situation vorstellen, in der die Arbeitskraft eines Unternehmens mit 100.000 Beschäftigten rund um die Uhr für einen selbst arbeitet; dafür braucht es Tokens und Compute
  • Dass alle Zugang zu Compute haben, ist ein zentrales Problem, das die Welt richtig lösen muss
  • Wichtige Fähigkeiten der Zukunft sind: zu wissen, wie man KI einsetzt, wie man Technologien neu kombiniert, wie man mit Agenten interagiert und sie steuert, und wie man versteht, was man selbst will und welches Ziel man verfolgt

• Risiken und eine wünschenswerte Zukunft

  • Bisher bedeutete Technologie oft, dass Menschen ihren Körper und ihren Alltag an Maschinen anpassen mussten; vor einem Kasten zu sitzen, zu tippen und unter Karpaltunnelsyndrom sowie nach vorn gezogenen Schultern zu leiden, ist für den Menschen nicht natürlich
  • Künftig bewegen wir uns in eine Welt, in der nicht Menschen mit Computern arbeiten, sondern Computer für Menschen arbeiten; das schafft zugleich Chancen und Risiken
  • Wenn Maschinen Menschen dabei helfen, ihre Ziele zu erreichen, muss festgelegt werden, wie miteinander kollidierende Ziele abgestimmt werden und wo die Grenzen liegen, wobei KI helfen soll und wobei nicht
  • Wir müssen Wege finden, wie KI in die Gesellschaft eingebettet wird und wie ihre Vorteile nicht nur einem Unternehmen oder einer einzelnen Gruppe zugutekommen, sondern alle nach oben ziehen
  • Wir müssen das Fundament anheben, damit alle Menschen ein gutes Leben haben, Zugang zu dieser Technologie erhalten und mit ihr etwas anfangen können; dann wird sich auch die Obergrenze erhöhen
  • Bei der medizinischen Versorgung hält er eine Welt für möglich, in der jeder in seiner Tasche einen Arzt hat, der besser ist als jedes heutige Ärzteteam
  • Solche Veränderungen sind disruptiv und kommen nicht kostenlos; erste Fehler sind bereits sichtbar geworden
  • Er glaubt, dass dies in den kommenden zwei Jahren eine Kraft zum Guten sein kann, doch um dieses Aufwärtspotenzial zu erreichen, müssen wir zugleich die möglichen Fehlentwicklungen und Risiken anerkennen

• Persönliche Maßstäbe und die Definition von Erfolg

  • Nur Papers zu schreiben, zitiert zu werden und auf Konferenzen Aufmerksamkeit zu bekommen, reicht nicht aus, um die Mission zu erfüllen; es muss damit verknüpft sein, „wie diese Aktivität dazu beiträgt, dass AGI die Welt in eine bessere Richtung bewegt“
  • In Ilyas Formulierung gibt es die Sichtweise, dass man „leiden muss“; wenn es kein Leiden gibt, bedeutet das fast, dass man keinen Wert schafft
  • Seiner Ansicht nach bestand der Ansatz von OpenAI nicht darin, Probleme zu verdecken und blind voranzupreschen, sondern eher darin, sich schwierigen Wahrheiten zu stellen und die Realität so zu verstehen, wie sie ist
  • Was er Nicht-Technikern über die Bedeutung von KI vermitteln möchte: dass sie dem persönlichen Leben helfen, Wissenschaft und Medizin voranbringen und eine Kraft zum Guten sein wird, die alle nach oben zieht
  • Erfolg bedeutet die Mission von OpenAI: sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt

[GN⁺]

Hacker-News-Kommentare

• Ich erinnere mich noch daran, als alte Computermagazine für Programmierer waren und sogar Code-Listings abdruckten
  Irgendwann ging es dann nur noch um die Klage IBM gegen Microsoft, und danach wirkte es, als hätten sie die Formel gefunden, nur noch über interne Machtspiele in Computerfirmen zu reden. Diese Konzern-gegen-Konzern-Berichterstattung ist langweilig und wie Reality-TV für die Tech-Branche. So nach dem Motto: Fliegt heute Abend Debra raus oder Deborah?

  • Ich erinnere mich noch daran, als Wired den Chefredakteur wechselte. Nachdem Chris Anderson weg war, wurde es zu „GQ, das über das iPhone redet“
  • In der „Tech“-Branche gibt es zwei Welten, und das, was Hacker-Typen unter Technik verstehen, ist nicht das, was die Welt unter Technik versteht
    Für die Welt geht es weniger um die eigentliche Technik als um das wahnsinnige Ausmaß an Geld, Macht, Einfluss und Intrigen, das diese Technik ermöglicht. Schon zu IBM-gegen-Microsoft-Zeiten war das groß, aber das Ausmaß im heutigen OpenAI-Zeitalter sprengt jede Vorstellung. Es gibt auch eine Generation, deren Verbindung zu Engineering und Technik nur durch dieses andere Interesse entstanden ist. Ich vermisse die Zeiten von Byte magazine

• Wer sich nicht alles anhören will, kann hier nachschauen: https://apecast.app/podcast/the-knowledge-project/episode/op...

• Es gibt auch private Tagebücher, die im Rahmen von Musks Klage veröffentlicht wurden und zeigen, wie Brockman die Vergangenheit sah
  Darin steht zum Beispiel ein Satz wie „Financially what will take me to $1B?“. Nebenbei bemerkt verlor Musk, weil er zu spät geklagt hatte

  • Wenn das ganze private Tagebuch veröffentlicht wurde und das das Schlimmste daran ist, dann ist das eher beruhigend

• Ich verstehe nicht, warum niemand nach Ilyas eigentlichen Motiven fragt
  Erst feuert er Sam, und dann unterschreibt er den Solidaritätsbrief, dass er OpenAI verlassen werde, falls Sam entlassen bleibt. Dieser Ablauf ergibt für mich keinen Sinn. Alles andere wirkt wie bloßes Ankratzen der Oberfläche

  • Ein Teil der Gegenreaktion war, dass Microsoft angekündigt hatte, bei einer aufrechterhaltenen Entlassung die Leute auch ohne die Organisation selbst einzeln einzustellen und den entgangenen Wertzuwachs ihrer Aktien auszugleichen
    In der Praxis wäre das wohl deutlich schwerer umzusetzen gewesen, aber es könnte gereicht haben, um es wie ein unvermeidliches Ergebnis erscheinen zu lassen
  • Ja, genau das sollte man fragen. Ich verstehe bis heute auch nicht, warum der Vorstand nach dem Rauswurf von Sam zurücktrat

• Aus irgendeinem Grund wirkt diese Episode ziemlich langweilig auf mich
  Vermutlich, weil fast nichts geteilt wird, das unerwartet oder unbekannt wäre

  • Ich dachte, ich würde nur Dinge hören, die ich schon kenne, aber ich habe einiges neu gelernt und fand es daher interessanter als erwartet

• Ich glaube nicht, dass das OpenAI getötet hätte. Es hätte die Firma eher korrigiert

  • Die Sieger schreiben die Geschichte

• Interessant ist, dass sie die Antwort im Grunde eher zufällig gefunden haben. Pretraining ist groß angelegtes unüberwachtes Lernen, und RLHF ist Reinforcement Learning. Man kannte nur das Rezept noch nicht

  • Pretraining ist kein unüberwachtes Lernen, sondern selbstüberwachtes Lernen. Deshalb ist es beim Skalieren etwas stärker eingeschränkt

• Ich verstehe nicht, warum eine Non-Profit-Organisation so etwas tun konnte
  Schafft das nicht einen Präzedenzfall, dass Non-Profits in Wirklichkeit bedeutungslos sind? Man nutzt einfach eine vorteilhafte Struktur und ändert sie dann, wenn man selbst reich werden kann

  • Es wäre hilfreich, klar zu benennen, welcher Punkt genau problematisch sein soll
    OpenAI wurde 2015 als Delaware-Non-Profit gegründet und stellte 2017 mit der Entdeckung der Skalierungsgesetze fest, dass viel mehr Rechenleistung und Kapital nötig sein würden als erwartet. Danach folgten Verhandlungen über eine Strukturänderung, um mehr Kapital aufnehmen zu können, und Musk stieg aus, nachdem die anderen Gründer ihm keine Kontrolle geben wollten. 2018 wollte man trotz des Wegfalls von Elons Beiträgen die Finanzierung stark erhöhen, nahm aber statt des Ziels von 100 Millionen Dollar nur 50 Millionen auf. 2019 wurde dann eine Capped-Profit-Tochtergesellschaft geschaffen, um kommerzielles Kapital anzuziehen, und die Non-Profit ließ den Wert des geistigen Eigentums von einem unabhängigen Gutachter bestimmen und übertrug es zum Fair Value von rund 60 Millionen Dollar an das gewinnorientierte Unternehmen. Im Gegenzug erhielt die Non-Profit das Recht, im Erfolgsfall das Hundertfache dieser ursprünglichen IP-Investition zu bekommen, also bis zu 6 Milliarden Dollar, sowie das Recht auf verbleibende Restgewinne, nachdem künftige Investoren ihre Obergrenzen erreicht hätten. Microsoft investierte 2019 1 Milliarde Dollar, 2021 2 Milliarden Dollar und 2023 10 Milliarden Dollar; auf jede dieser Investitionen galten Obergrenzen von 20x oder 6x, sodass sich ein gesamtes Rückzahlungsziel von 92 Milliarden Dollar ergab. 2025 wurde die Capped-Profit-Struktur in eine traditionelle Beteiligungsstruktur als Public Benefit Corporation umgewandelt; die Non-Profit gab ihre Rechte auf Restgewinne und auf die 100x-Gewinnobergrenze aus der ursprünglichen 60-Millionen-Dollar-Übertragung auf und erhielt dafür 26 % am gewinnorientierten Unternehmen, heute etwa 200 Milliarden Dollar wert. Das stammt aus den Unterlagen in Musk v. Altman, und unterm Strich tauschte die Non-Profit 2019 geistiges Eigentum im Wert von rund 60 Millionen Dollar gegen das Recht auf künftige Gewinne von 6 Milliarden Dollar und hält nach der Rekapitalisierung nun Anteile im Wert von 200 Milliarden Dollar. Viele in diesem Thread scheinen zu glauben, die Non-Profit existiere nicht mehr, aber das stimmt nicht
  • In letzter Zeit passieren oft Dinge, die eigentlich nicht passieren dürften
  • Die Non-Profit durfte schon immer gewinnorientierte Tochtergesellschaften besitzen
  • Die meisten Non-Profits haben weder eine Mission noch die Chance, ein Milliardenprodukt zu verkaufen, von dem so ein Strukturwechsel profitieren würde. Selbst wenn sie es wollten, hätten sie praktisch keine Möglichkeit gehabt, daraus echten Gewinn zu ziehen
  • Die meisten Startups erzielen ohnehin keinen tatsächlichen Gewinn, und Non-Profits können keine Beteiligungen ausgeben, also ist das auch keine besonders vorteilhafte Struktur

• Nur der Form halber: Das derzeit wichtigste KI-Unternehmen ist Anthropic

  • Das derzeit am meisten überschätzte KI-Unternehmen ist Anthropic. Das beste Modell haben sie nicht, aber Marketing können sie eindeutig
  • Google/DeepMind wird unterschätzt; ein großer Teil der frühen Kernforschung kam von dort, einschließlich der Erfindung des Transformers, auf dem andere KI-Unternehmen aufbauen
  • Es fühlt sich stark so an, als hätte OpenAI seine Führungsrolle verloren. Seit Monaten habe ich weder ihre Modelle noch ihre App benutzt