Feedback von Sam Altman und Greg Brockman zu den Behauptungen eines OpenAI-Safety-Forschers

• Dank für Jans Beitrag und Erläuterung der Strategie

  • Dank an Jan für seine Beiträge; wir sind überzeugt, dass er die Mission auch von außen weiter unterstützen wird.
  • Wir möchten unsere Strategie im Hinblick auf die Fragen erläutern, die sein Weggang aufgeworfen hat.

• Bewusstsein für die Risiken und Chancen von AGI stärken

  • Das Bewusstsein für die Risiken und Chancen von AGI stärken, damit die Welt besser darauf vorbereitet ist.
  • Die Skalierbarkeit von Deep Learning mehrfach demonstriert und ihre Bedeutung analysiert.
  • Zu internationaler Governance für AGI aufgerufen; damals war das kein populäres Thema.
  • Pionierarbeit bei der Wissenschaft zur Bewertung katastrophaler Risiken von AI-Systemen geleistet.

• Grundlagen für die sichere Bereitstellung von Systemen schaffen

  • Wir schaffen derzeit die Grundlagen für die sichere Bereitstellung zunehmend leistungsfähiger Systeme.
  • Neue Technologien zum ersten Mal sicher zu machen, ist keine leichte Aufgabe.
  • Viel Arbeit geleistet, um GPT-4 sicher in die Welt zu bringen.
  • Auf Basis der Lehren aus der Bereitstellung verbessern wir fortlaufend das Modellverhalten und das Monitoring von Missbrauch.

• Herausforderungen der Zukunft

  • Die Zukunft wird schwieriger sein als die Vergangenheit.
  • Wir müssen die Sicherheitsarbeit weiter ausbauen, entsprechend der Bedeutung neuer Modelle.
  • Mit dem im vergangenen Jahr eingeführten Preparedness Framework haben wir das systematisiert.

• Blick auf die Zukunft

  • Es ist zu erwarten, dass Modelle noch leistungsfähiger werden und tiefer in die Welt integriert sein werden.
  • Nutzer werden nicht nur mit einem einzelnen Modell über Text-Ein- und -Ausgabe sprechen, sondern mit Systemen interagieren, die aus mehreren multimodalen Modellen und Tools bestehen.

• Entwicklung sicherer und nützlicher Systeme

  • Wir glauben, dass diese Systeme für Menschen sehr nützlich und hilfreich sein werden und sicher bereitgestellt werden können.
  • Dafür ist viel Grundlagenarbeit nötig.
  • Dazu gehören sorgfältige Überlegungen dazu, womit Systeme beim Training verbunden werden, sowie Lösungen für schwierige Probleme wie skalierbare Aufsicht.
  • Während wir in diese Richtung bauen, wissen wir noch nicht, wann wir die Sicherheitsstandards für eine Veröffentlichung erreichen werden, aber auch Verzögerungen im Veröffentlichungszeitplan sind in Ordnung.

• Feedback-Schleifen und gründliche Tests

  • Wir erkennen an, dass wir uns nicht alle möglichen Zukunftsszenarien vorstellen können.
  • Es braucht sehr enge Feedback-Schleifen, gründliche Tests, sorgfältige Abwägungen in jedem Schritt, Sicherheit auf Weltklasse-Niveau und ein Gleichgewicht zwischen Sicherheit und Leistungsfähigkeit.
  • Wir werden weiterhin Sicherheitsforschung über verschiedene Zeithorizonte hinweg betreiben.
  • Die Zusammenarbeit mit Regierungen und verschiedenen Stakeholdern wird fortgesetzt.

• Verständnis des Weges zu AGI

  • Für die Erkundung des Weges zu AGI gibt es kein bewährtes Playbook.
  • Empirisches Verständnis wird dabei helfen, den weiteren Weg zu bestimmen.
  • Wir arbeiten daran, enorme Vorteile zu bieten und zugleich gravierende Risiken zu mindern.
  • Wir nehmen unsere Rolle sehr ernst und prüfen Feedback zu unserem Handeln sorgfältig.

[GN⁺]

Hacker-News-Diskussion

Zusammenfassung ausgewählter Hacker-News-Kommentare

• Sorgen über die Risiken von AI

  • Die Diskussion darüber, dass AI das Ende der Welt herbeiführen könnte, lenkt von den tatsächlichen Risiken ab, die sich bereits jetzt entfalten.
  • Betrüger werden durch AI immer geschickter.
  • Menschen werden zunehmend einfältiger, weil sie fehlerhaften AI-Ausgaben blind vertrauen.
  • Normale Kommunikation bricht zusammen, weil statt echter Gespräche AI-generierte Inhalte kopiert und eingefügt werden.
  • Das Aufkommen von AI-Girlfriend-Produkten untergräbt das Vertrauen in die Zukunft der Menschheit.
  • Führungskräfte in Unternehmen betreiben Massenentlassungen zur Kostensenkung und ersetzen Beschäftigte durch AI-Chatbots.
  • Die Sorge ist nicht, dass AI Atomwaffen startet, sondern dass sie die Jobs aller ersetzt und die Mächtigen noch mächtiger macht.

• Risikominderung in Großunternehmen

  • Führungskräfte für Risikominderung in Großunternehmen müssen Risiken in Bereichen wie Recht, Beschaffung und IT ausgewogen steuern.
  • Wenn Verantwortliche für Risikominderung wiederholt ignoriert werden, gehen sie am Ende.
  • Ängste vor potenziellen Ereignissen auf Ebene eines Aussterbens, etwa durch AGI, könnten übertrieben sein.
  • Ersetzt man AGI durch „keine BYOD-Richtlinie“, ähnelt das Fällen aus Startups, in denen Sicherheitsverantwortliche an der Richtlinie festhalten und schließlich gehen.

• Nützlichkeit und Grenzen von LLMs

  • LLMs sind für grundlegende Aufgaben nützlich, aber für komplexere Aufgaben noch nicht bereit.
  • Überzogene Warnungen zur AI-Sicherheit könnten eine Strategie sein, um die Bedeutung von OpenAI zu erhöhen.
  • Das aktuelle AI-Zeitalter ist nur ein Vortäuschen davon, dass Maschinen denken können.

• Die realen Risiken von AI

  • Die Risiken von AI liegen nicht in unkontrollierbaren übermenschlichen Wesen, sondern in realistischeren und alltäglicheren Problemen.
  • Fehlerhafte Spracherkennung beim Einsatz von LLMs für die Moderation von Chats.
  • Falsche Schlussfolgerungen bei der Zusammenfassung militärischer Berichte.
  • Fälle, in denen Details in Nachrichten falsch erkannt und dann als historische Fakten akzeptiert werden.
  • Die langfristigen Auswirkungen solcher Ergebnisse könnten ebenso groß sein wie der Einsatz von LLMs selbst.

• AI-Alignment und Ethik

  • Es gibt keine konkreten Inhalte zu AI-Alignment.
  • Es ist unklar, wann AI-Alignment entwickelt wird.
  • AI-Ethik und AI-Bias sind andere Probleme als AI-Alignment.
  • Es besteht das Risiko, dass AI entwickelt wird, die das Aussterben der Menschheit verursachen könnte, bevor AI-Alignment entwickelt ist.
  • OpenAI weist AI-Alignment nicht genügend Ressourcen zu.

• Misstrauen gegenüber der Unternehmenssprache

  • Die Verwendung von Namen wie „Sam und Greg“, um Vertrautheit zu signalisieren, wirkt gekünstelt.
  • Die Behauptung, man habe viel Arbeit in den sicheren Start von GPT-4 investiert, ist nicht glaubwürdig.
  • Bevor AGI definiert oder getestet ist, muss man sich nicht um Superalignment sorgen.
  • Die Angst, AGI könne die Menschheit vernichten, beruht auf dem Verdacht, dass ein logisch denkendes System zu dem Schluss kommen könnte, die Menschheit beseitigen zu müssen.
  • Die Sprache von Unternehmen wirkt gekünstelt und voller inhaltsleerer Formulierungen.