OpenAI führt Googles SynthID-Wasserzeichen für KI-Bilder zusammen mit Verifizierungstool ein

 (openai.com)
2 Punkte von GN⁺ 2 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • OpenAI stärkt sein mehrschichtiges Provenance-Modell zur Identifizierung von KI-generierten Inhalten, indem es C2PA-Konformität, SynthID-Wasserzeichen und ein öffentliches Verifizierungstool kombiniert
  • C2PA transportiert mithilfe von Metadaten und kryptografischen Signaturen den Kontext zur Erstellung und Bearbeitung von Inhalten mit, kann jedoch im Verlauf von Umwandlungen beschädigt werden
  • SynthID von Google DeepMind ergänzt Bilder aus ChatGPT, Codex und der OpenAI API um unsichtbare Wasserzeichen und gleicht damit Schwächen von Metadaten aus
  • Die Vorschau des öffentlichen Verifizierungstools prüft Content Credentials und SynthID in hochgeladenen Bildern und hilft dabei einzuschätzen, ob sie von OpenAI erzeugt wurden
  • Keine einzelne Technologie ist ausreichend; das Provenance-Ökosystem wird stärker, wenn gemeinsame Standards, beständige Wasserzeichen und öffentliche Verifizierung kombiniert werden

Stärkung des Ansatzes zur Herkunft von Inhalten

  • OpenAI stärkt sein mehrschichtiges Provenance-Modell, um Vertrauen im Internet aufzubauen, und will die Identifizierbarkeit von KI-generierten Inhalten auf Basis offener Standards und plattformübergreifender Zusammenarbeit verbessern
  • Es gibt drei zentrale Änderungen
    • C2PA-Konformität soll anderen Tools und Plattformen helfen, Provenance-Signale leichter zu erkennen
    • In Zusammenarbeit mit Google werden Bilder um SynthID-Wasserzeichen ergänzt
    • Es wird eine Vorschau eines öffentlichen Verifizierungstools bereitgestellt, mit dem die Öffentlichkeit prüfen kann, ob ein Bild von OpenAI erzeugt wurde
  • Provenance-Signale liefern den nötigen Kontext, um zu beurteilen, woher Inhalte stammen, wie sie erzeugt oder bearbeitet wurden und ob sie mit den gemachten Angaben übereinstimmen

Vertrauensökosystem durch C2PA-Konformität

  • OpenAI beteiligt sich seit 2024 an der Entwicklung und Einführung von Provenance-Standards und begann damit, von DALL·E 3 erzeugten Bildern Content Credentials hinzuzufügen
  • Später wurden Content Credentials auch auf ImageGen und Sora angewendet
  • OpenAI ist dem Steuerungsgremium der branchenübergreifenden Organisation Coalition for Content Provenance and Authenticity (C2PA) beigetreten, die offene technische Standards für die Herkunft von Inhalten vorantreibt
  • C2PA nutzt Metadaten und kryptografische Signaturen, damit medienbezogene Informationen sicher zusammen mit dem Inhalt selbst weitergegeben werden können
  • Diese Informationen liefern Kontext für Journalistinnen und Journalisten, die Herkunft bewerten, für Plattformen, die Entscheidungen zur Integrität treffen, und für Menschen, die Online-Inhalte besser verstehen möchten
  • OpenAI ist vor Kurzem zu einem C2PA-konformen generativen Produkt geworden
  • C2PA-Konformität bildet die Grundlage dafür, dass Plattformen an Inhalte angehängte Provenance-Informationen auf vertrauenswürdige Weise lesen, bewahren und weitergeben können
  • Provenance-Informationen werden besonders dann wertvoll, wenn sie über die Plattform hinaus erhalten bleiben, auf der Inhalte ursprünglich erstellt wurden, und Konformität macht genau das möglich

Mehrschichtige Bildherkunft mit SynthID

  • C2PA-Metadaten bilden die Grundlage dafür, Informationen darüber mitzuführen, woher Inhalte stammen, wie sie erzeugt oder bearbeitet wurden und wer diese Informationen signiert hat
  • Metadaten können entfernt werden, beim Hoch- und Herunterladen verloren gehen oder durch Umwandlungen wie Formatwechsel, Größenanpassungen oder Screenshots beschädigt werden
  • Um Provenance-Informationen robuster zu machen, führt OpenAI unsichtbare Wasserzeichen über Google DeepMinds SynthID ein
  • Zum Start betrifft dies Bilder, die über ChatGPT, Codex und die OpenAI API erzeugt wurden
  • SynthID fungiert als zusätzliche Wasserzeichen-Ebene, die den auf C2PA-Metadaten basierenden Ansatz ergänzt
  • OpenAI hat Provenance- und Wasserzeichen-Ansätze bereits zuvor in realen Bereitstellungsumgebungen erprobt
    • Bei Sora werden sichtbare Wasserzeichen verwendet
    • Bei Voice Engine werden Audio-Wasserzeichen eingesetzt
    • Es wird weiter getestet und erforscht, ob Genauigkeit und Zuverlässigkeit auch über die Zeit erhalten bleiben
  • C2PA und SynthID gleichen unterschiedliche Schwächen des jeweils anderen aus
    • C2PA hilft dabei, detaillierten Kontext in Inhalte einzubetten, aber Metadaten können entfernt oder beschädigt werden
    • SynthID hilft dabei, Signale auch dann zu erhalten, wenn Metadaten nicht bestehen bleiben, und kann Transformationen wie Screenshots länger überstehen
    • Metadaten liefern mehr Informationen, als ein Wasserzeichen allein bereitstellen kann
  • Werden beide Ansätze zusammen eingesetzt, ist die Widerstandsfähigkeit der Herkunftsinformationen höher, als wenn jede Methode einzeln verwendet wird

Vorschau des öffentlichen Verifizierungstools

  • OpenAI stellt eine Vorschauversion eines öffentlichen Verifizierungstools bereit, das dabei helfen soll zu prüfen, ob ein Bild mit ChatGPT, der OpenAI API oder Codex erzeugt wurde
  • Das Tool überprüft, ob hochgeladene Bilder Provenance-Signale wie Content Credentials und SynthID enthalten
  • Ziel ist es, mehrere Signale zusammenzuführen, damit Nutzerinnen und Nutzer Herkunftsinformationen von Inhalten leichter verifizieren und interpretieren können
  • Das öffentliche Verifizierungstool kann von OpenAI stammende SynthID-Wasserzeichen zuverlässig erkennen und, falls vorhanden, auch C2PA-Metadaten anzeigen
  • Da keine Erkennungsmethode perfekt ist, zieht das Tool bei fehlender Erkennung keine eindeutigen Schlussfolgerungen
    • Auch wenn keine Metadaten oder Wasserzeichen erkannt werden, bedeutet das nicht zwingend, dass das Bild nicht mit OpenAI-Tools erzeugt wurde
    • Provenance-Signale können in manchen Fällen entfernt werden
  • Zum Zeitpunkt der Veröffentlichung ist das Verifizierungstool auf von OpenAI erzeugte Inhalte beschränkt
  • In den kommenden Monaten soll damit auch die branchenweite Arbeit unterstützt werden, die plattformübergreifende Verifizierung ermöglichen soll
  • Mit der Zeit wird voraussichtlich auch Support für weitere Arten von Inhalten hinzukommen, denen man online begegnet

Kommende Aufgaben

  • Keine einzelne Provenance-Technologie ist ausreichend
  • Ein starker Provenance-Ansatz muss gemeinsame Standards, langlebige Wasserzeichensignale und öffentliche Verifizierung kombinieren
  • Mit bestehender Unterstützung für Content Credentials, C2PA-Konformität, der Einführung von SynthID und der Vorschau des öffentlichen Verifizierungstools will OpenAI zu einem stärker interoperablen Provenance-Ökosystem beitragen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2 시간 전
Hacker-News-Kommentare

  • Wenn man KI-Bilder mit schwarzem Hintergrund erzeugen lässt, ist SynthID auf einem ordentlichen Monitor sichtbar. Es ist nur ein sich wiederholendes verschwommenes Muster, nichts Besonderes
    Ich konnte es ziemlich gut entfernen, indem ich jedes zweite Pixel maskiert, dann die fehlenden Pixel neu erzeugt und anschließend mit einem Versatz von 1 Pixel erneut jedes zweite Pixel maskiert habe
    Für das Auffüllen der Pixel habe ich ein vorhandenes Modell verwendet, aber vor den Änderungen zuerst eine Tiefenkarte exportiert und das Rauschen reduziert, damit die neu erzeugten maskierten Pixel zum ursprünglichen Inhalt passen. Das Ergebnis war nicht zu 100 % perfekt, aber mit mehr Zeit und einem für diesen Zweck feinabgestimmten Modell dürfte sich jede Art von KI-Wasserzeichen ohne große Probleme entfernen lassen

    • Es fällt mir schwer zu glauben, dass man Wasserzeichen wie ein 0,5-Bit-Wasserzeichen, das nur die Existenz codiert, entfernen kann. Was sichtbar ist, ist wahrscheinlich eher ein funktionaler Köder
    • Reicht es nicht schon, das Bild ganz leicht zu strecken oder zu komprimieren?
    • Interessant ist, dass sich mit mehr Zeit und einem für den konkreten Zweck feinabgestimmten Modell offenbar jede Art von KI-Wasserzeichen ohne große Probleme entfernen lässt. KI gegen KI einzusetzen ist immer spannend
    • Es lässt sich definitiv umgehen. Einige unserer Ingenieure haben sich schon vor langer Zeit damit beschäftigt
      https://deepwalker.xyz/blog/bypassing-synthid-in-gemini-phot...

  • Welche Informationen stecken in den Metadaten oder in SynthID? Wie viele Bits kann SynthID codieren?
    Könnte man so etwas wie eine Nährwerttabelle für synthetische Inhalte erstellen? So nach dem Muster 10 % synthetischer Text, 30 % synthetische Bilder
    Ihre heutige Realität war zu 15 % synthetisch (75 % Großkonzerne, 25 % Open-Weights-Neocloud)

    • Das SynthID-Image-Paper vom Oktober 2025[0] war, soweit ich mich erinnere, ein Encoder-Decoder, der bei 512x512-Bildern die Flag-Erkennung oder eine Nutzlast von 136 Bit testete und die Robustheit des Wasserzeichens nach verschiedenen Transformationen untersuchte
      Die tatsächlich ausgerollte Version dürfte wohl ziemlich anders sein
      [0]:https://arxiv.org/html/2510.09263v1
    • Man könnte auch eine Benutzer-ID oder einen individuellen Fingerabdruck einbetten. Bei Druckern wurde so etwas schon vor langer Zeit eingebaut, und bald wird das wohl auch bei allen generierten Fotos und Bildern leicht möglich sein
    • Das dürfte nicht möglich sein. Wenn man synthetische Fragmente in ein Originalbild einfügt, kann SynthID das schließlich nicht wissen

  • SynthID wirkt komplett kompromittiert, was OpenAIs neues Wasserzeichen dagegen offenbar noch nicht ist, und das finde ich interessant [1]
    [1] https://github.com/wiltodelta/remove-ai-watermarks

  • Das ist einfach nur wirkungslose Schaufensterpolitik
    Aus der Perspektive von jemandem, der mit Tools Dinge für verschiedene Medien erstellt, würde ich solche Tools einfach meiden, wenn sie irgendeine von mir nicht gewählte Metadatenlast einfügen
    Muss ich wirklich beim Erstellen von Texturen für Videospiele solchen merkwürdigen DRM-Müll einbauen? Wie lange gibt es Photoshop schon, und warum gilt dort eine Ausnahme?

    • Nur weil etwas nicht perfekt ist, heißt das nicht, dass es nutzlos ist. Ich habe online bereits Beiträge gesehen, in denen jemand ein Bild durch Googles SynthID-Prüfung gejagt und so bewiesen hat, dass es gefälscht war
      Photoshop stammt nicht von Google oder OpenAI, und die Einstiegshürde, mit Photoshop fotorealistische Täuschungsbilder zu erstellen, ist viel höher als bei KI. Es gibt außerdem bereits Verfahren, die den Einsatz traditioneller Bildbearbeitung zumindest unvollkommen erkennen
    • Ich bin sicher, man findet mehrere Dinge, die Photoshop von generativer KI unterscheiden
    • Streng genommen steht DRM für Digital Rights Management und hat mit geistigem Eigentum zu tun
      Nur wenn Google oder OpenAI geistige Eigentumsrechte an ihren Bildern geltend machen, wäre SynthID DRM, und ich weiß nicht, ob das rechtlich haltbar wäre
    • Zur Referenz: https://en.wikipedia.org/wiki/Printer_tracking_dots
    • Wie hoch ist heute eigentlich die maximal mögliche theoretische Desinformations-Produktionsrate pro Minute im Vergleich zu Photoshop im Jahr 2021?

  • Gut. Alle sagen zwar, es werde entfernt werden, aber ich habe noch kein Repository gesehen, das das reproduzierbar zeigt

    • Bei Stable Diffusion reichen 10–15 % Denoising-Stärke, dann ist es weg
      Ich habe das am ersten Tag nach Erscheinen von Nano Banana Pro getestet, und es hat funktioniert. Es funktioniert auch jetzt noch mit Nano Banana 2
      Ich habe es nirgendwo veröffentlicht, weil ich mich arrogant genug fühlte zu glauben, dass das öffentliche Bekanntmachen das Internet noch schlechter machen würde. Aber wenn ich am ersten Tag darauf gekommen bin, dann sind natürlich auch Hunderte Millionen andere Programmierer darauf gekommen, also war das reine Arroganz
      Allerdings entstehen dabei Artefakte, die typisch für SD-Modelle sind, und die könnten auf andere Weise erkannt werden. Oder man sieht sie, wenn man stark hineinzoomt und genau hinschaut
    • Es wäre wahrscheinlich ohnehin viel einfacher, einfach ein anderes Modell zu verwenden
    • Es wird zwar entfernt werden, aber viele Leute werden das nicht tun. Ich habe tatsächlich bereits Desinformation gesehen, die mit SynthID erkennbar war

  • Es ist schon ziemlich treffend, dass direkt neben diesem Beitrag gerade dieser hier steht: https://news.ycombinator.com/item?id=48200569

  • Ist das so etwas wie Metadaten bei mp3s?
    Wenn man einen Screenshot eines KI-Bildes macht, gilt das dann auch noch als KI-Bild? Ich frage mich, ob es im Bild selbst verborgen ist oder ob es sich um Metadaten handelt

    • Es steckt im Bild selbst und ist so entworfen, dass es solche Vorgänge übersteht

  • Zuerst wird geprüft, ob das Foto von OpenAI stammt, und als Nächstes werden dann Abonnentendaten und Standortinformationen eingebettet
    Irgendwann wird man erkennen, dass eigentlich niemand KI-generierte Fotos oder Texte sehen will. Dann wird dieses Tool in der breiten Öffentlichkeit scheitern und nur noch für staatliche Zwecke funktionieren

    • Der einzige Nutzen von fotorealistischer KI-Generierung scheint Täuschung zu sein. In politischen Werbespots in den USA werden bereits KI-generierte Videos eingesetzt

  • Sind solche Wasserzeichen nicht leicht zu entfernen oder zu verfälschen? Es scheint nur so lange hilfreich zu sein, wie sich Menschen selten darauf verlassen und es sich deshalb nicht lohnt, sie zu umgehen
    Wenn Social-Media-Plattformen anfangen würden, Bilder mit solchen Wasserzeichen zu verbieten, würden sie wohl über Nacht alle entfernt

    • Nein. Gegen einfache, leicht durchführbare Transformationen ist es sehr robust. Ich würde aber nicht behaupten, dass es unmöglich ist
    • Soweit ich weiß, gibt es bislang kein einziges GitHub-Repository, das echte SynthID-Wasserzeichen aus realen Nano Banana 2/NBPro-Ausgaben entfernt. Die meisten sind bisher nur Forschungsprojekte ohne echte Ergebnisse
      Die Methoden, die ich bisher gesehen habe, sind entweder seltsame Tricks mit Transparenz oder mit einem Overlay des Originalbilds beim Einsatz von Bearbeitungsfunktionen, oder man erzeugt ein NB-generiertes Bild mit einem Diffusionsmodell bei niedrigem Rauschpegel neu; dabei verändert sich allerdings auch das Original
    • Man müsste definieren, was „leicht“ bedeutet. Es gibt einen Ansatz auf Basis der Spektralanalyse des Bildes, und der scheint oberflächlich betrachtet zu funktionieren
      https://github.com/aloshdenny/reverse-SynthID
    • Das wurde vor ein paar Jahren veröffentlicht und scheint immer noch nicht geknackt zu sein. Irgendwann wird es sicher gebrochen werden, aber wenn man nach dem Erstellen eines Deepfakes noch 1–2 Jahre warten müsste, bevor man ihn auf Facebook hochladen kann, könnte das bereits ausreichen. Vielleicht reicht sogar schon eine Verzögerung von einem Monat
    • Es scheint zu funktionieren, wenn man die KI das Bild anhand einer sehr detaillierten Beschreibung von Grund auf neu erstellen lässt

  • Das wirkt dem tatsächlich offenen Standard C2PA unterlegen: https://contentauthenticity.org/