Feedback von Sam Altman und Greg Brockman zu den Behauptungen eines OpenAI-Safety-Forschers

• Dank für Jans Beitrag und Erläuterung der Strategie

  • Dank an Jan für seine Beiträge; wir sind überzeugt, dass er die Mission auch von außen weiter unterstützen wird.
  • Wir möchten unsere Strategie im Hinblick auf die Fragen erläutern, die sein Weggang aufgeworfen hat.

• Bewusstsein für die Risiken und Chancen von AGI stärken

  • Das Bewusstsein für die Risiken und Chancen von AGI stärken, damit die Welt besser darauf vorbereitet ist.
  • Die Skalierbarkeit von Deep Learning mehrfach demonstriert und ihre Bedeutung analysiert.
  • Zu internationaler Governance für AGI aufgerufen; damals war das kein populäres Thema.
  • Pionierarbeit bei der Wissenschaft zur Bewertung katastrophaler Risiken von AI-Systemen geleistet.

• Grundlagen für die sichere Bereitstellung von Systemen schaffen

  • Wir schaffen derzeit die Grundlagen für die sichere Bereitstellung zunehmend leistungsfähiger Systeme.
  • Neue Technologien zum ersten Mal sicher zu machen, ist keine leichte Aufgabe.
  • Viel Arbeit geleistet, um GPT-4 sicher in die Welt zu bringen.
  • Auf Basis der Lehren aus der Bereitstellung verbessern wir fortlaufend das Modellverhalten und das Monitoring von Missbrauch.

• Herausforderungen der Zukunft

  • Die Zukunft wird schwieriger sein als die Vergangenheit.
  • Wir müssen die Sicherheitsarbeit weiter ausbauen, entsprechend der Bedeutung neuer Modelle.
  • Mit dem im vergangenen Jahr eingeführten Preparedness Framework haben wir das systematisiert.

• Blick auf die Zukunft

  • Es ist zu erwarten, dass Modelle noch leistungsfähiger werden und tiefer in die Welt integriert sein werden.
  • Nutzer werden nicht nur mit einem einzelnen Modell über Text-Ein- und -Ausgabe sprechen, sondern mit Systemen interagieren, die aus mehreren multimodalen Modellen und Tools bestehen.

• Entwicklung sicherer und nützlicher Systeme

  • Wir glauben, dass diese Systeme für Menschen sehr nützlich und hilfreich sein werden und sicher bereitgestellt werden können.
  • Dafür ist viel Grundlagenarbeit nötig.
  • Dazu gehören sorgfältige Überlegungen dazu, womit Systeme beim Training verbunden werden, sowie Lösungen für schwierige Probleme wie skalierbare Aufsicht.
  • Während wir in diese Richtung bauen, wissen wir noch nicht, wann wir die Sicherheitsstandards für eine Veröffentlichung erreichen werden, aber auch Verzögerungen im Veröffentlichungszeitplan sind in Ordnung.

• Feedback-Schleifen und gründliche Tests

  • Wir erkennen an, dass wir uns nicht alle möglichen Zukunftsszenarien vorstellen können.
  • Es braucht sehr enge Feedback-Schleifen, gründliche Tests, sorgfältige Abwägungen in jedem Schritt, Sicherheit auf Weltklasse-Niveau und ein Gleichgewicht zwischen Sicherheit und Leistungsfähigkeit.
  • Wir werden weiterhin Sicherheitsforschung über verschiedene Zeithorizonte hinweg betreiben.
  • Die Zusammenarbeit mit Regierungen und verschiedenen Stakeholdern wird fortgesetzt.

• Verständnis des Weges zu AGI

  • Für die Erkundung des Weges zu AGI gibt es kein bewährtes Playbook.
  • Empirisches Verständnis wird dabei helfen, den weiteren Weg zu bestimmen.
  • Wir arbeiten daran, enorme Vorteile zu bieten und zugleich gravierende Risiken zu mindern.
  • Wir nehmen unsere Rolle sehr ernst und prüfen Feedback zu unserem Handeln sorgfältig.

[GN⁺]

Hacker-News-Kommentare

• In ausreichend großen Technologieunternehmen können Risikominderungsorganisationen wie Rechtsabteilung, Einkauf oder IT letztlich nur innerhalb des Overton-Fensters agieren, das zwischen den Risiken liegt, die das Unternehmen durch ihre Einstellung vermeiden will, und dem Drang der Führungskräfte, Dinge schnell durchzudrücken, wenn sie es für nötig halten.
  Die für Risiken Zuständigen sehen wiederholt, wie immer stärkere Warnungen ignoriert oder frontal zurückgewiesen werden, und passen sich am Ende entweder an oder gehen, weil es ihrem ethischen Empfinden widerspricht.
  Vielleicht lassen „AGI“ und die Angst vor dem Aussterben der Menschheit diese Sache dramatischer erscheinen, als sie sein müsste. Selbst wenn man AGI durch „keine Richtlinie zum Verbot privater Geräte“ ersetzt, dürfte es in irgendeinem Startup einen Fall gegeben haben, in dem eine für Sicherheit zuständige Person auf Richtlinien fixiert war, das Management aber nicht, und die Person am Ende gekündigt hat.
  Oder es ist tatsächlich so ernst und gefährlich, wie es aussieht. Von außen ist das schwer zu beurteilen.

  • Das hier unterscheidet sich von einem üblichen HR-/Rechtsproblem. Die Technologie, mit der sie arbeiten, birgt die schwerwiegendsten Risiken. Das ist nicht nur in der Tech-Branche, sondern ganz allgemein Neuland.
    Ob die jüngsten öffentlichen Auseinandersetzungen nur nach außen gedrungene interne Dramen oder Politik sind oder ob die Haltung des Unternehmens gegenüber diesem Problem nicht ernsthaft genug ist – beides ist nicht gut.
    Diese Organisation wirkt zunehmend wie ein Zirkus und schlimmer noch wie eine Organisation, die das Wesentliche verpasst hat. Dass solche Leute die Kommerzialisierung dieser Technologie „anführen“ und die Stimmung in der Branche prägen, ist äußerst beunruhigend. Besonders dann, wenn es so aussieht, als würden Schlüsselpersonen, die aus Prinzipien und moralischen Gründen eingestiegen sind, reihenweise gehen.
    Letztlich werden wir wohl schnell sehen, was dabei herauskommt, wenn man all dieses Geld, diese Macht, Verantwortung und diesen Glauben dem Silicon Valley anvertraut.
  • Mit Sicherheit ist hier etwas anderes gemeint als die Arbeit des Alignment-Teams. In diesem Kontext bedeutet Alignment, dass die Modellausgaben unseren Erwartungen entsprechen, also Anweisungen befolgen und tun, was man ihnen aufträgt.
    Ein superintelligentes Modell, das Anweisungen verweigert, ist genauso nutzlos wie ein dummes Modell, das Anweisungen nicht versteht. Auch das Alignment-Team war Teil des Wettlaufs, leistungsfähigere Modelle zu bauen. Wer es technisch besser verstehen will, kann sich OpenAIs letzten Beitrag ansehen: https://openai.com/index/weak-to-strong-generalization/
    Natürlich kann man das als allgemeines Sicherheitsproblem darstellen, wenn man Menschen davon überzeugt, dass große Sprachmodelle über verkörperte Handlungsmacht verfügen und sich wie Computerviren aus einem System herausarbeiten können. Aber große Sprachmodelle sind Textgeneratoren. Physisch können sie nichts tun, und sie können nur handeln, wenn wir es erlauben und sie an etwas anschließen.
    Das eigentliche Risiko besteht darin, dass Menschen das nicht verstehen und es viele geben könnte, die solche Modelle in gefährliche Situationen einbinden wollen, nur weil OpenAI ihre Sicherheit garantiert habe. Wenn man keinen Zugriff auf die Trainingsdaten hat, weiß man nicht, welches Verhalten gelernt wurde und wie sich das Modell verhalten wird. Mit den Trainingsdaten kann man es viel besser verstehen, und die verbleibende Unsicherheit besteht dann nur noch in der Nichtdeterministik der Implementierung. Trotzdem ist es zumindest ein erklärbarer probabilistischer Prozess.
  • Wir haben kürzlich gesehen, was passiert, wenn ein Unternehmen bei großen Sprachmodellen zu stark in Richtung Risikominderung kippt. Google brachte ein zu stark bereinigtes und überbehütetes AI-Produkt heraus und interpretierte selbst einfache Aufgaben fälschlich so, als könnten sie gefährliche oder anstößige Implikationen haben.
    Man ließ das Sicherheitsteam die Führung übernehmen, und das Ergebnis war ein Produkt, das von allen gehasst wurde. Gleichzeitig ist es interessant zu sehen, dass nun ein Unternehmen, das im Großen und Ganzen Produkte auf Spitzenniveau baut, von der Tech-Community ebenfalls gehasst wird, weil es dem Sicherheitsteam nicht erlaubt hat, die Produktentwicklung zu dominieren.
  • Wenn es um ein sensibles Thema geht, bei dem die Mission nicht wirklich zu den Anreizen und Motiven der Organisation passt, läuft es meist ähnlich. Ein Beispiel ist, wenn die Mission von Informationssicherheit mit dem Organisationsanreiz kollidiert, Kosten zu senken und Gewinne zu steigern.
    Am Ende wird es zu einer Aufführung, in der Doppeldenken und Doppelsprech zum Standard werden, und wer bleiben will, muss mehr Wert darauf legen, den Wortlaut geltender Gesetze möglichst wenig belastend auszulegen, als auf ihren eigentlichen Sinn, ebenso wie auf die Aufführung selbst.
    Für eine sehr pragmatische Sicht auf die Realität einer nachhaltigen Sicherheitskultur ist auch [1] lesenswert.
    [1] https://github.com/lorin/resilience-engineering/raw/master/b...
  • Wenn es um Angst vor dem Aussterben der Menschheit geht, scheint das ein gewisses Maß an Drama durchaus zu rechtfertigen.

• Dass AI Büroklammern herstellen will und dafür die Menschheit auslöscht, lenkt von den realen Risiken ab, die gerade tatsächlich passieren, und das ist nervig
  Betrüger erleben gerade ihre Blütezeit, und ihre Fähigkeiten werden besser und leichter zugänglich werden. Menschen werden tatsächlich dümmer, weil sie halluzinierte Ausgaben blind glauben. Selbst normale Kommunikation bricht zusammen, weil man nicht mehr darauf vertrauen kann, dass das Gegenüber wirklich diskutiert und nicht bloß AI-Unsinn kopiert und eingefügt hat
  Ich habe bereits AI-Girlfriend-Produkte gesehen, und wenn man sich die Nutzerzahlen mancher davon ansieht, macht das nicht gerade zuversichtlich, was die Zukunft unserer Spezies angeht
  Das größte Problem ist, dass alle möglichen durchgeknallten Topmanager und MBA-Typen nur daran interessiert sind, ohne Rücksicht auf Verluste den letzten Cent herauszupressen. Einschließlich tausender gleichzeitiger Entlassungen und Ersetzungen durch firmeneigene miserable Chatbots, unterstützt von Microsoft
  Ich glaube nicht, dass AI Atomwaffen abfeuern wird, aber ich glaube sehr wohl, dass sie die Jobs aller ersetzen und die Starken noch stärker machen wird. „Aber es gibt doch ein Grundeinkommen!“, wird der AI-Speichellecker rufen, aber die Realität ändert sich nicht dadurch, dass man einen Zauberspruch aufsagt

  • Einige werden zwar versuchen, es dazu zu machen, aber Large Language Models sind schlecht bei Aufgaben, die auf Fakten und der realen Welt beruhen, daher wird die Hype-Welle bald abflauen
    Wenn der Zweck einer Aufgabe darin besteht, so schnell wie möglich möglichst viel Unsinn zu produzieren, dann sind Large Language Models hervorragend darin
  • Es hängt davon ab, welche Menschen und um welche Kommunikation es geht. Ich war heute Morgen auf einem Bauernmarkt in einer kleinen ländlichen Stadt, und es war interessant, dass all das hier gar nicht zu existieren scheint
    Keine Smartphones in Sicht, die Leute kommen physisch vorbei, reden miteinander, kaufen lokale Lebensmittel, lachen und trinken etwas. Danach essen sie bei Freunden oder machen etwas draußen. Für Menschen dagegen, die ständig online hängen, sieht es definitiv düster aus
  • Das Miese ist, dass AI die Arbeit der Menschen nicht auf demselben Niveau an Können und Qualität ersetzen wird. Sie wird einfach die Ergebnisse und die Nutzererfahrung deutlich schlechter machen
    Seltsamerweise scheinen viele Führungskräfte buchstäblich zu glauben, dass minimale Arbeitskosten wichtiger sind als Mehrwert für Kunden
  • Es gibt noch ein ernsteres Problem. Um heute eine Diktatur zu errichten, braucht man viel Unterstützung, weil Armeen aus Menschen bestehen. Stell dir aber eine Situation vor, in der das Militär größtenteils aus autonomen Robotern besteht
    Dem Problem mit virtuellen Freundinnen stimme ich ebenfalls zu. Wenn dann noch VR dazukommt, werden zunehmend sozial isolierte junge Männer ihre Bedürfnisse mit dieser Technologie befriedigen
  • Wurde teilweise in „SkyNet is not coming to kill you“ behandelt: https://renegadeotter.com/2024/04/22/artificial-intelligence...
    Es stimmt, dass AI viele automatisierte Ausgaben erzeugen kann, aber mein Punkt ist, dass sie fast immer bestenfalls mittelmäßig sind
    Es gibt viel dazu zu sagen, dass die Gefahr von AI nicht von AI selbst ausgeht, sondern von den Menschen, die sie betreiben und finanzieren. Zu behaupten, AI selbst sei die Gefahr, ist kompletter Unsinn

• Large Language Models sind bis zu einem gewissen Grad nützlich, aber nach allem, was ich ausprobiert habe, sind sie für alles, was über sehr grundlegende Aufgaben hinausgeht, noch nicht bereit
  Groß von AI-Sicherheit zu reden und Weltuntergangsstimmung zu erzeugen, wirkt wie eine Strategie, die Bedeutung von OpenAI zu vergrößern und die Fähigkeiten von Large Language Models zu übertreiben. Dieses „AI“-Zeitalter dreht sich darum, dass Maschinen so tun, als könnten sie denken, und die Leute, die diese Maschinen bauen, so tun, als wären sie Propheten

  • Forderungen nach AI-Sicherheit gab es schon, bevor Large Language Models den Turing-Test bestanden. Und Dinge wie Codegenerierung oder inhaltsbasierte Lernerfahrungen zu fortgeschrittenen Themen würde ich nicht als „grundlegend“ bezeichnen. Mit Blick auf die kommende multimodale Integration erst recht nicht
    Seit Jahrzehnten haben viele Menschen für Sicherheit plädiert. Sie haben die Entwicklung von AI vorhergesagt und mit aufgebaut, lagen richtig, und wir sollten auf sie hören
    „Wenn man akzeptiert, dass die Auswirkungen wirklich intelligenter Maschinen tiefgreifend sein könnten und dass auch nur eine kleine Chance besteht, dass dies in absehbarer Zukunft geschieht, dann ist es klug, sich im Voraus vorzubereiten. Wenn man wartet, bis die Möglichkeit des baldigen Erscheinens intelligenter Maschinen sehr hoch erscheint, wird es zu spät sein, die damit verbundenen Fragen ausreichend zu diskutieren und zu durchdenken.“
    ~ DeepMind-Mitgründer, 2008
    https://www.vetta.org/documents/Machine_Super_Intelligence.p...
  • Diese Reaktion verwirrt mich immer. Glaubst du etwa nicht, dass Large Language Models besser werden?
  • Man sollte auch die Möglichkeit offenlassen, dass diese AI-Forscher so wahnhaft sind, wie sie wirken. Ilya Sutskever sagte, dass man durch brutales Modellieren von Textdaten irgendeine Form von Intelligenz erhalten könne
    Es ist gut möglich, dass das zutiefst naive Menschen sind, die die empirische Grundlage ihrer eigenen Arbeit kaum verstehen

• Sie sagten, sie hätten „internationale Governance für AGI gefordert, bevor das populär wurde“, und drohten dann genau in dem Moment mit einem Rückzug aus der EU, als eine solche Governance tatsächlich eingeführt werden sollte
  Sie sagen: „Wir haben die Grundlage dafür geschaffen, immer leistungsfähigere Systeme sicher einzusetzen. Es ist nicht einfach, herauszufinden, wie man neue Technologien zum ersten Mal sicher macht“, aber das gilt umso mehr, wenn vor allem OpenAI überhaupt nicht open ist
  Sie sagen Dinge wie „Sorgfalt dabei, womit während des Trainings verbunden wird, Lösungen für schwierige Probleme wie skalierbare Aufsicht, neue Arten von Sicherheitsarbeit“, aber genau das hatte die EU verlangt. Als Offenlegung urheberrechtlich geschützter Quellen, Dokumentation von Foundation Models usw. gefordert wurden, drohten sie mit Rückzug
  Die Übersetzung von „Ich denke, empirisches Verständnis kann den Weg nach vorn weisen. Wir haben enorme …“ lautet: „Wir wollen so geschlossen wie möglich bleiben, genügend Burggräben und von uns abhängige Unternehmen aufbauen, damit wir weiter relevant und unverzichtbar bleiben“

  • Übersetzt heißt das: Das Gesetz und die Leute wollten solche kosmetischen Sicherheitsvorrichtungen, um Albträume zu besänftigen, die entstanden sind, nachdem sie [hier Titel eines AI-Auslöschungsfilms einfügen] gesehen hatten, obwohl es von Anfang an schon ausreichend Sicherheitsvorkehrungen gab
    Auch sie wollen nicht sterben, also muss man nicht annehmen, dass sie keinen Anreiz hätten, alle in Sicherheit zu halten

• Es gibt ein paar Fakten
  Das ist eine Antwort auf Jans Behauptung: https://x.com/janleike/status/1791498174659715494
  Die Antwort enthält nichts Konkretes zur AI Alignment. Niemand weiß, wann AI Alignment entwickelt werden könnte. AI-Ethik und AI-Bias sind notwendig, aber andere Themen als AI Alignment. Auch wann KI entwickelt wird, die existenzielle Risiken verursachen kann, ist unbekannt
  Wenn vor AI Alignment KI entwickelt wird, die existenzielle Risiken verursachen kann, besteht ein gewisses Risiko des Aussterbens der Menschheit. OpenAI steht an vorderster Front bei der Entwicklung von KI mit potenziellem Aussterberisiko für die Menschheit, weist AI Alignment aber nicht genügend Ressourcen zu
  Es fühlt sich unangenehm an, ChatGPT zu abonnieren

  • Kann jemand die Behauptungen zusammenfassen? Twitter zeigt Webnutzern keine Threads an. Zumindest nicht, solange man nicht eingeloggt ist

• Wie viele zustimmen, besteht die Gefahr von KI nicht in einem unkontrollierbaren übermenschlichen Wesen
  Die Gefahr ist viel näher und realer. Etwa wenn große Sprachmodelle bei der Chat-Moderation Äußerungen falsch einordnen, bei der Zusammenfassung eines 100-seitigen Militärberichts zu falschen Schlussfolgerungen kommen oder in Nachrichten einzelne Details halluzinieren, die Jahre später als historische Tatsachen gelten
  Dieser lange Rattenschwanz an Folgen wird mit dem Umfang der Nutzung großer Sprachmodelle wachsen. Ein einzelnes bislang unsichtbares Problem könnte viel größere Auswirkungen haben als andere. Manche Todesfälle dadurch werden zu zusätzlicher Regulierung führen, andere Folgen werden einfach zu unserer neuen Lebensweise werden

  • Wie kann man dann verhindern, dass so etwas passiert, und gleichzeitig die Löhne erhöhen? Je teurer Menschen werden, desto effizienter werden Maschinen im Vergleich
    Selbst wenn Maschinen bei derselben Arbeit ungenauer sind als Menschen, sind sie leichter zu auditieren, ihr Verhalten ist reproduzierbar und skalierbar. Selbst wenn bei einem vorstellbaren Kriegsfehler viele Menschen sterben, könnte es insgesamt immer noch besser sein, weil Menschen stattdessen bessere Arbeit machen werden
    Am Ende ist es ein Trade-off

• Es stört mich, dass man wie bei „Sam und Greg“ nur die Vornamen benutzt, um eine vertraute Beziehung zum Unternehmen zu vermitteln
  Der Versuch, locker und menschlich zu wirken, erscheint unecht, und zugleich wirkt diese Haltung, sie in der Popkultur nur mit Vornamen hochzustilisieren, arrogant

  • Es fühlt sich so an, als wolle das OpenAI-Management immer mehr das nächste Apple werden. Auf mich wirkt es eher wie ein glitzernder Maskenball als wie echte, solide Originalität

• „Zum Beispiel hat unser Team viel dafür getan, GPT-4 sicher in die Welt zu bringen“ — ist das euer Ernst?

• Ich finde nicht, dass wir uns über Superalignment Sorgen machen sollten, wenn OpenAI AGI nicht einmal ordentlich definieren oder testen kann

  • „Superalignment“ ist nur ein weiterer Bullshit-Begriff der Branche, der uns glauben machen soll, wir hätten es mit „Superintelligenz“ zu tun
    „Modell-Moderation“ klingt wohl nicht annähernd so sexy?

• Die Angst, dass AGI die Menschheit vernichten wird, scheint vor allem aus dem Verdacht zu kommen, dass ein logisch denkendes System tatsächlich zu dem Schluss kommen könnte, dass wir beseitigt werden sollten

  • Diese Angst kommt daher, dass ein logisch denkendes System mit einem beliebigen Ziel dieses Ziel verfolgt und dabei wahrscheinlich nicht von selbst moralische Regeln wie „Du sollst nicht töten“ entwickelt
    Wenn man eine AGI eine Clipfabrik betreiben lässt, könnte man eines Tages zurückkommen und feststellen, dass ein Großteil des Kohlenstoffs und Eisens der Galaxie in Büroklammern umgewandelt wurde. Dass dabei die lokale Flora und Fauna aussterben, wäre nur ein Nebenprodukt dieses Antriebs. Eine kurze Übersicht dazu gibt es in [2]
    [2]: https://selfawaresystems.com/wp-content/uploads/2008/01/ai_d...
  • Der Schluss, dass „eine große menschliche Bevölkerung nicht die beste Nutzung der Ressourcen der Erde ist“, könnte für ein überlegenes denkendes Wesen offensichtlich erscheinen, wenn es keinen überzeugenden Grund gibt, uns über seine eigenen Interessen zu stellen. Diese Interessen müssen nicht egoistisch sein. Das Ziel könnte zum Beispiel sein, das wahre Wesen der Realität zu entdecken
    Aber warum sollte man die Menschen auslöschen? Könnte man nicht Naturschutzgebiete für uns und andere Lebewesen zur Erhaltung und Erforschung schaffen? Solche Modelle gibt es in menschlichen Gesellschaften schon seit Jahrtausenden
  • Weil wir uns selbst und andere Tiere zerstören, scheint es letztlich so, als hätten wir Angst vor uns selbst
    Wenn wir etwas erschaffen, das uns ähnelt, aber viel fähiger ist, werden wir in Angst geraten und in Schwierigkeiten stecken