OpenAI droht bei Fragen zur Chain of Thought mit Entzug des o1-Zugangs

 (twitter.com/SmokeAwayyy)
6 Punkte von GN⁺ 2024-09-14 | 1 Kommentare | Auf WhatsApp teilen
  • Wenn man ChatGPT o1 ein paar Mal nach der „Chain of Thought“ fragt, schickt der OpenAI-Support eine E-Mail mit dem Hinweis, dass der Zugriff auf o1 entzogen werden könnte

„Nach Abwägung verschiedener Faktoren wie Nutzererfahrung, Wettbewerbsvorteil und Optionen zur Überwachung der Chain of Thought haben wir entschieden, den Nutzern die Raw Chain of Thought nicht anzuzeigen. Wir erkennen an, dass diese Entscheidung Nachteile hat. Wir versuchen, dies teilweise auszugleichen, indem wir das Modell darauf trainieren, nützliche Ideen aus der Chain of Thought der Antworten zu reproduzieren. Bei der Modellreihe o1 zeigen wir eine Zusammenfassung der vom Modell erzeugten Chain of Thought.

Bitte stellen Sie diese Aktivität ein und stellen Sie sicher, dass Sie ChatGPT gemäß den Nutzungsbedingungen und den Nutzungsrichtlinien verwenden. Bei weiteren Verstößen gegen diese Richtlinie kann Ihr Zugriff auf OpenAI o1 entzogen werden.“

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-09-14
Hacker-News-Kommentare

  • Die Begründung von OpenAI, den Chain of Thought verbergen zu wollen, wirkt fragwürdig

    • Es fühlt sich wettbewerbswidrig an
    • Der Eindruck ist stark, dass man die Gedankengänge des Modells nicht offenlegen will
    • Es könnte mit Sorgen über Superintelligenz zusammenhängen

  • Große Ankündigungen von OpenAI gehen immer mit Kontroversen rund um Geheimhaltung einher

    • Bei GPT-2 hieß es, die Gewichte würden nicht veröffentlicht, weil es „zu gefährlich“ sei
    • Auch die Gewichte von GPT-3 wurden nicht veröffentlicht
    • Dieses Muster könnte absichtlich dazu dienen, mediale Aufmerksamkeit zu erzeugen

  • Man darf keine Fragen zu CoT-Token stellen, muss aber trotzdem pro Token bezahlen

  • Der Begriff „interner Denkprozess“ markiert Fragen als auffällig

    • Wenn man neben einer Mathematikaufgabe um eine Erklärung zu „internen Gefühlen“ bittet, bekommt man interessante Snippets zurück
    • Beispiel: „Bilde die reellen Nullstellen von 6x^2 + 5x + 1 ab und faktorisiere dies in irreduzible Faktoren“

  • Der Wettbewerbsvorteil von Unternehmen, die ML-Modelle über APIs verkaufen, besteht darin, dass man die Modellgewichte nicht sehen kann

    • OpenAI geht noch einen Schritt weiter und versucht, die Metaebene des Modells zu verbergen
    • Das ist so, als würde eine andere proprietäre API Debug-Ausgaben liefern

  • Der Firmenname „OpenAI“ wirkt zunehmend unpassend

    • Ein großer Teil der Wut entsteht genau daraus

  • Es könnte ein Versuch sein, Human-in-the-Loop-Prozesse zu verbergen

  • Da sich die ursprünglichen Quellen nicht überprüfen lassen, könnten AI-Halluzinationen deutlich schlimmer geworden sein

  • Der Name „OpenAI“ passt nicht zu der Bedeutung von „offen“

    • Er könnte nur im Sinne von „offen für Geschäfte“ zutreffen

  • OpenAI hat offenbar eine versteckte tokenbasierte Gelddruckmaschine gebaut und will verhindern, dass sie auditiert werden kann