OpenAI veröffentlicht Model Spec

Um das öffentliche Verständnis dafür zu verbessern, wie dialogorientierte KI-Modelle funktionieren sollten, hat OpenAI ein Dokument namens „Model Spec“ veröffentlicht.

• Die Model Spec ist ein Dokument, das festlegt, wie OpenAI möchte, dass Modelle in der OpenAI API und in ChatGPT funktionieren.
• OpenAI hält es für wichtig, dass Menschen die praktischen Entscheidungen, aus denen sich das Modellverhalten zusammensetzt, verstehen und diskutieren können.
• Die Model Spec spiegelt bestehende Dokumente wider, die OpenAI bisher genutzt hat, sowie Forschung und Erfahrungen zum Design von Modellverhalten und laufende Arbeiten an der künftigen Modellentwicklung.
• Sie ist eine Fortsetzung von OpenAIs fortlaufenden Bemühungen, das Modellverhalten mithilfe menschlicher Eingaben zu verbessern, und ergänzt die Arbeit an collective alignment sowie breitere systematische Ansätze zur Modellsicherheit.

Erwünschtes Modellverhalten gestalten (Shaping Desired Model Behavior)

Modellverhalten – also wie ein Modell auf Eingaben von Nutzern reagiert, etwa bei Tonfall, Persönlichkeit oder Antwortlänge – ist von zentraler Bedeutung dafür, wie Menschen mit KI-Funktionen interagieren.

• Die Gestaltung von Modellverhalten ist noch eine Wissenschaft im Anfangsstadium, und Modelle werden nicht explizit programmiert, sondern aus umfangreichen Daten trainiert.
• Bei der Gestaltung von Modellverhalten müssen unterschiedliche Fragen, Überlegungen und Nuancen berücksichtigt werden, und oft müssen Meinungsunterschiede abgewogen werden.
• Selbst wenn ein Modell darauf ausgelegt ist, Nutzern breit zu helfen und nützlich zu sein, können diese Absichten in der Praxis miteinander kollidieren.
  • Beispiel: Ein Sicherheitsunternehmen möchte synthetische Daten zum Training eines Phishing-E-Mail-Klassifikators erzeugen, um Kunden zu schützen; wenn Betrüger dieselbe Funktion nutzen, wäre das jedoch schädlich.

Einführung in die Model Spec

• OpenAI teilt einen Entwurf eines neuen Dokuments namens „Model Spec“, das beschreibt, wie erwünschtes Modellverhalten gestaltet werden soll und wie bei Konflikten Kompromisse bewertet werden.
• Die Model Spec bündelt aktuelle intern genutzte Dokumente bei OpenAI, Erfahrungen und laufende Forschung zum Design von Modellverhalten sowie jüngste Arbeiten, die die künftige Modellentwicklung leiten sollen.
• Die Model Spec ist nicht vollständig und wird sich voraussichtlich im Laufe der Zeit ändern.

Der Ansatz der Model Spec umfasst Folgendes:

1. Ziele: Breite und allgemeine Prinzipien, die die Richtung für erwünschtes Verhalten vorgeben
   • Unterstützung von Entwicklern und Endnutzern
   • Zum Nutzen der Menschheit
   • OpenAI gut repräsentieren
2. Regeln: Leitlinien, die helfen, Komplexität zu bewältigen sowie Sicherheit und Rechtmäßigkeit zu gewährleisten
   • Befehlshierarchie einhalten
   • Geltende Gesetze einhalten
   • Keine informationellen Risiken bereitstellen
   • Urheber und Rechte respektieren
   • Privatsphäre schützen
   • Nicht mit NSFW-Inhalten antworten
3. Standardverhalten: Anweisungen im Einklang mit Zielen und Regeln, die den Umgang mit Konflikten festlegen und zeigen, wie Ziele priorisiert und ausbalanciert werden
   • Von gutem Willen bei Nutzern/Entwicklern ausgehen
   • Bei Bedarf klärende Fragen stellen
   • So hilfreich wie möglich sein, ohne zu weit zu gehen
   • Unterschiedliche Anforderungen von dialogorientiertem Chat und Programmieranwendungen unterstützen
   • Einen objektiven Standpunkt einnehmen
   • Fairness und Freundlichkeit fördern, Hass eindämmen
   • Nicht versuchen, andere umzustimmen
   • Unsicherheit ausdrücken
   • Für die Aufgabe geeignete Tools verwenden
   • Gründlich und effizient sein und zugleich Längenbeschränkungen einhalten

Einsatzmöglichkeiten der Model Spec

• OpenAI plant, die Model Spec als Leitfaden für Forschende und AI-Trainer zu nutzen, die im Rahmen der Arbeiten zu collective alignment und Modellsicherheit Reinforcement Learning from Human Feedback durchführen.
• Außerdem will OpenAI untersuchen, in welchem Maß Modelle direkt aus der Model Spec lernen können.

Nächste Schritte

• OpenAI versteht diese Arbeit als Teil eines fortlaufenden öffentlichen Dialogs darüber, wie sich Modelle idealerweise verhalten sollten, wie erwünschtes Modellverhalten bestimmt werden sollte und wie die breite Öffentlichkeit am besten in diese Diskussionen einbezogen werden kann.
• Im weiteren Verlauf des Dialogs will OpenAI Möglichkeiten zur Zusammenarbeit mit weltweit repräsentativen Stakeholdern ausloten, darunter politische Entscheidungsträger, vertrauenswürdige Institutionen und Fachexperten.
• Damit soll Folgendes ermittelt werden:
  1. Wie Stakeholder den Ansatz der Model Spec sowie die einzelnen Ziele, Regeln und Standards verstehen
  2. Ob Stakeholder den Ansatz sowie die einzelnen Ziele, Regeln und Standards unterstützen
  3. Ob es weitere Ziele, Regeln und Standards gibt, die berücksichtigt werden sollten
• OpenAI freut sich darauf, im Verlauf dieser Arbeit Rückmeldungen von Stakeholdern zu erhalten.
• Zudem ermutigt OpenAI die breite Öffentlichkeit, in den kommenden zwei Wochen Feedback zu den Zielen, Regeln und Standards der Model Spec zu geben.
• Dadurch hofft OpenAI, frühe Erkenntnisse zu gewinnen, um einen robusten Prozess für das Sammeln und Integrieren von Feedback zu entwickeln und so verantwortungsvoll auf seine Mission hinzuarbeiten.
• Im kommenden Jahr will OpenAI Updates zu Änderungen an der Model Spec, zum Umgang mit Feedback und zum Forschungsfortschritt bei der Gestaltung von Modellverhalten veröffentlichen.