- Nightshade ist ein Tool, das darauf reagiert, dass Online-Bilder ohne Zustimmung zum Training generativer KI verwendet werden, indem es Werke in Poison-Samples verwandelt, die für das Modelltraining ungeeignet sind
- Opt-out-Listen und do-not-scrape/robots.txt lassen sich nur schwer überprüfen und durchsetzen; zudem ist es schwierig, Verstöße mit hoher Sicherheit zu identifizieren, sodass Kreativen wirksame Kontrollmöglichkeiten fehlen
- Die veränderten Bilder sehen für Menschen nicht wesentlich anders aus als die Originale, bringen KI-Modelle aber dazu, andere Strukturen zu lernen, was unvorhersehbare Ergebnisse auslösen kann
- Während Glaze ein defensives Tool ist, das die Nachahmung des Stils einzelner Künstler verhindert, ist Nightshade ein selektives Angriffstool, das die Trainingskosten für Modelle erhöht, die ohne Zustimmung scrapen
- Derzeit ist Nightshade v1.0 ein eigenständiges Tool und bietet keinen Nachahmungsschutz wie Glaze; daher sollte es nicht allein auf Werke angewendet werden, bei denen die Nachahmung des Stils ein Anliegen ist
Reaktion auf die Erhebung von Trainingsdaten ohne Zustimmung
- Generative KI-Modelle und die Akteure hinter dem Training haben gezeigt, dass sie Online-Inhalte für das Modelltraining herunterladen können
- Rechteinhaber und Kreative haben kaum Werkzeuge, um zu verhindern, dass ihre Werke gegen ihren Willen in generative KI-Modelle gelangen
- Opt-out-Listen wurden in der Vergangenheit von Modelltrainern ignoriert und können ohne nennenswerte Konsequenzen leicht missachtet werden
- Auch do-not-scrape-Anweisungen sind schwer zu überprüfen und durchzusetzen; Verstöße lassen sich zudem nur schwer mit hoher Sicherheit identifizieren
Funktionsweise von Nightshade
- Nightshade verwandelt Bilder in Poison-Samples, die für das Modelltraining ungeeignet sind
- Ein Modell, das solche Bilder ohne Zustimmung trainiert, kann unvorhersehbares Verhalten lernen, das vom erwarteten Verhalten abweicht
- Wenn zum Beispiel ein Bild einer „Kuh, die durch den Weltraum fliegt“ angefordert wird, könnte es ein Bild einer im All schwebenden Handtasche erzeugen
- Ziel ist nicht, das Modell einfach kaputtzumachen, sondern die Kosten für das Training mit nicht genehmigten Daten zu erhöhen, sodass die Lizenzierung von Bildern bei Kreativen zu einer realistischen Alternative wird
Bilder, die Menschen und Modelle unterschiedlich sehen
- Nightshade funktioniert ähnlich wie Glaze, ist aber kein Schutz gegen Stilnachahmung, sondern ein Angriffstool, das die Merkmalsrepräsentationen im Inneren generativer KI-Bildmodelle verzerrt
- Die Transformation wird als Mehrziel-Optimierung berechnet, die sichtbare Veränderungen am Originalbild minimiert
- Für Menschen sehen shaded Bilder dem Original im Allgemeinen ähnlich, während KI-Modelle im Bild dramatisch andere Strukturen erkennen können
- Menschen sehen ein Bild einer Kuh auf einer grünen Wiese nahezu unverändert
- Ein KI-Modell kann darin eine große Ledergeldbörse auf einer Wiese sehen
- Wenn es ausreichend viele shaded Bilder mit Kühen trainiert, kann das Modell zunehmend überzeugt sein, dass Kühe braune Ledergriffe, glatte Seitentaschen, Reißverschlüsse und Markenlogos haben
Wirkung bleibt auch bei gängigen Bildveränderungen erhalten
- Der Nightshade-Effekt ist robust gegenüber Änderungen, die häufig an Bildern vorgenommen werden
- Auch nach Zuschneiden, Resampling, Komprimierung, Pixel-Smoothing und dem Hinzufügen von Rauschen bleibt der Poison-Effekt erhalten
- Selbst wenn ein auf einem Monitor angezeigtes Bild per Screenshot erfasst oder fotografiert wird, bleibt der Shade-Effekt bestehen
- Das liegt daran, dass es sich weder um ein Wasserzeichen noch um Steganografie mit versteckter Botschaft handelt und die Methode daher nicht leicht zerstört wird
Unterschiedliche Rollen von Nightshade und Glaze
- Glaze ist ein defensives Tool, mit dem einzelne Künstler sich vor Angriffen durch Stilnachahmung schützen können
- Nightshade ist ein Angriffstool, mit dem Künstler gemeinsam Modelle stören können, die Bilder ohne Zustimmung scrapen
- Es wird empfohlen, Glaze auf alle Werke anzuwenden, die online gestellt werden, um den jeweiligen Künstler zu schützen
- Nightshade ist eine optionale Funktion, um gewissenlose Modelltrainer abzuschrecken
- Künstler, die ihre Werke online veröffentlichen, sollten idealerweise sowohl Glaze als auch Nightshade anwenden
- Eine integrierte Veröffentlichung beider Tools ist in Arbeit
Hinweise zur Nutzung
- Die von Nightshade erzeugten Veränderungen können bei Werken mit flächigen Farben und glatten Hintergründen stärker sichtbar sein
- Da Nightshade darauf abzielt, Modelle zu stören, führen geringe Stärke oder ein niedriger Poison-Level nicht zu negativen Ergebnissen für den Bildinhaber
- Für Nutzer, die die visuelle Qualität des Originalbilds priorisieren möchten, sind Einstellungen mit niedriger Stärke enthalten
- Wie bei Sicherheitsangriffen oder -abwehr ist nicht davon auszugehen, dass Nightshade langfristig auch in der Zukunft wirksam bleibt
- Als Angriffstool kann Nightshade sich leicht an potenzielle Gegenmaßnahmen oder Abwehrmechanismen anpassen
Verbreitung und Datenverarbeitung
- Ziel von Nightshade ist es, durch Forschung Neues zu entdecken und zu lernen sowie einen positiven Einfluss auf die Welt zu haben
- Nightshade ist wie Glaze so konzipiert, dass es ohne Netzwerkverbindung ausgeführt wird
- Weder Daten noch Werke werden an das Nightshade-Team oder an andere Stellen übertragen
- Nightshade v1.0 ist als eigenständiges Tool konzipiert
- Die aktuelle Version bietet keinen Nachahmungsschutz wie Glaze, daher ist bei der Nutzung Vorsicht geboten
- Wenn auch nur geringe Sorge vor Stilnachahmung besteht, sollten keine Werkbilder veröffentlicht werden, auf die nur Nightshade angewendet wurde
- Es wird getestet, wie Nightshade und Glaze zusammenarbeiten
- Sobald es bereit ist, soll Nightshade als WebGlaze-Add-on veröffentlicht werden, damit WebGlaze-Nutzer Nightshade und Glaze in einem Schritt auf ein einzelnes Bild anwenden können
Technisches Paper und Referenzen
- Installation, Ausführung, Einstellungen und Deinstallation von Nightshade sind im User Guide beschrieben
- Der Titel des technischen Papers lautet Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
- Die Autoren sind Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng und Ben Y. Zhao
- Das Paper soll im Mai 2024 auf dem 45th IEEE Symposium on Security and Privacy in San Francisco erscheinen
- Der Preprint ist arxiv/2310.13828 und wurde im Februar 2024 veröffentlicht
1 Kommentare
Meinungen auf Hacker News
Das Paper ist hier: https://arxiv.org/abs/2310.13828
Diese Methode scheint Artefakte zu erzeugen, die für viele Künstler kaum akzeptabel sein dürften: https://twitter.com/sini4ka111/status/1748378223291912567
Soweit ich höre, funktioniert sie a) allenfalls bei Trainingsverfahren früherer Generationen, b) greift bei modernen Verfahren wie GPT-4V, LLaVA oder sogar BLIP2-Labeling überhaupt nicht und c) wäre nicht besonders schwer zu kontern, selbst wenn der Effekt größer würde und sie breite Nutzung fände.
Da auch die frühere Arbeit der Autoren, Glaze, entgegen überzogener Behauptungen nicht besonders wirksam zu sein scheint, könnte dies ein Fall sein, in dem ein akademisch interessantes, in der Praxis aber wenig brauchbares Ergebnis aufgebauscht wird.
[1]: bereitgestellt von /u/b3sn0w auf Reddit: https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4
Ein Bild in GPT-4V, Stable Diffusion img2img usw. zu stecken trainiert keine KI; das Modell bleibt vollständig fixiert und verändert sich überhaupt nicht[0].
Ich weiß nicht, ob es noch Anbieter gibt, die neue Bilder scrapen und in das Training von Generatoren aufnehmen. Ich habe gehört, dass OpenAI etwa 2021 mit dem Scraping aufgehört hat, aus Sorge, die Ausgaben der eigenen Modelle wieder ins Training einzuspeisen[1], und Adobe Firefly behauptet, mit Adobe-Stock-Bildern trainiert worden zu sein, aber Adobes eigener Stichtag ist mir nicht bekannt[2].
Wenn man GPT-4V oder Stable Diffusion in der Inferenzphase zum Straucheln bringen will, braucht man adversariale Bilder. Ich weiß nicht, ob adversariales Training gegen ein Modell ohne Gewichte möglich ist, aber ich habe gehört, dass man es ziemlich stark stören kann, wenn man gegen mehrere unabhängige Modelle generalisiert[3].
[0] Die Fähigkeit von Textgeneratoren, die wie Lernen aussieht, entsteht aus dem Kontextfenster; das ist aber nur ein Kurzzeitgedächtnis von etwa 2048 Tokens und keine sonstige Gedächtnisfähigkeit.
[1] Ein Szenario, in dem so etwas passiert, wird scherzhaft Habsburg-KI genannt: Das Modell lernt aus seinen eigenen Verzerrungen, verstärkt sie zu noch stärkeren Verzerrungen und vergisst den Rest.
[2] Es wäre besonders ironisch, wenn die einzigen KI-Generatoren, denen Nightshade schadet, diejenigen wären, die es immerhin etwas ethischer versuchen wollten.
[3] Im Extremfall täuschen adversariale Bilder auch Menschen. Allerdings zeigten solche Studien die Bilder nur sehr kurz; die Idee war, dass kurze Exposition einem Feedforward-Neuronalen Netz ohne rekursive Rechenpfade ähnelt. Schaut man länger hin, ist klar, dass ein Foto eines Objekts so bearbeitet wurde, dass es wie etwas anderes aussieht.
Denoising ist vermutlich ohnehin ein guter Vorverarbeitungsschritt.
Die Leute auf der LLM-Seite scheinen tatsächlich nicht die Absicht zu haben, fair dafür zu bezahlen; in der Zusammenfassung ihres Geschäftsplans steht im Grunde: „Wir stehlen alles, was nicht niet- und nagelfest ist.“
Hier gibt es einen sehr großen Markt für Schlangenöl-Produkte. Solange Kunst für das menschliche Auge sichtbar sein muss, gibt es keine Möglichkeit, dass solche Tools gewinnen; und selbst wenn sie funktionieren, werden sie prinzipbedingt sofort umgangen.
Der einzige realistische Weg für Künstler oder sonst jemanden, zu verhindern, dass Modelle auf menschlichen Erzeugnissen trainiert werden, ist das Recht, also vom Staat gestützte Zwangsgewalt einzusetzen, um unerwünschtes Verhalten zu unterbinden. Auch das ist nicht perfekt und könnte im Gegenteil Anreize schaffen, verteilte Trainingsnetzwerke zu entwickeln, die ahndbare Urheberrechtsverletzungen „waschen“.
Letztlich ist es mindestens ein Kampf auf verlorenem Posten und im schlimmsten Fall ein törichter Kampf. Man kann einen Computer nicht daran hindern, ein Bild zu beobachten, das man Menschen frei zugänglich ins Netz stellt; solche Modelle lassen sich also leicht bauen und werden letztlich auch gebaut werden.
Neben dem Recht gibt es auch andere Wege: Man kann Werke nur in nicht-öffentlichen Vorführungen zeigen und verhindern, dass das Publikum vor Ort Aufnahmegeräte mitbringt. Das mag absurd wirken, ist aber bei Aktivitäten wie Sex gängige Praxis.
Im schlimmsten Fall ist es nur Zeitverschwendung, aber niemand wird dazu verleitet, etwas zu kaufen.
Die einzige Möglichkeit, als Künstler jetzt noch zu überleben, besteht darin, einen eigenen, unverwechselbaren Stil zu haben und ihn niemals online zu stellen.
Vor ein paar Monaten habe ich einen Proof of Concept erstellt, wonach das Fine-Tuning von Stable Diffusion XL mit falschen oder inkonsistenten Bildern dazu führen kann, dass das Modell sogar „bessere“ Bilder ausgibt, wenn man diese Bilder als negative Prompts verwendet: https://news.ycombinator.com/item?id=37211519
Anders gesagt: Man spezifiziert einen hochdimensionalen Bereich im Latent Space, den die Modellerzeugung vermeiden soll. Es ist nicht ausgeschlossen, dass die Förderung der massenhaften Erstellung manipulierter Datensätze paradoxerweise generative KI-Kunstmodelle verbessert, weil das Modell die manipulierten Daten erkennen und der Trainingsprozess sie umgehen kann.
Das wirkt wie ein ziemlich sinnloses Wettrüsten oder Katz-und-Maus-Spiel. Wenn jemand, der ein generatives Bildmodell trainieren will, sich überhaupt nicht darum schert, was Artists denken, reicht schon ein einfaches Post-Processing, das die vom Nightshade-Algorithmus sehr fein abgestimmten Änderungen kaputtmacht.
Wenn man das Bild zum Beispiel mit etwas niedrigerer Auflösung neu sampelt und es danach mit einem anderen Super-Resolution-Modell wieder hochskaliert, dürfte das diese Feinjustierungen zerstören, ohne dass es für das menschliche Auge einen großen Unterschied gibt.
Ich denke, dass Gerichte künftig wegen gesellschaftlichen Drucks wahrscheinlich meist auf der Seite der Artists stehen werden. Artists könnten gefundene Bilder beanstanden und ein weiteres Machine-Learning-Modell schnell beurteilen lassen, ob ein generiertes Bild dem Stil des jeweiligen Artists „zu ähnlich“ ist. Natürlich müsste dieser Stil sich ausreichend von dem anderer unterscheiden, damit ein sinnvoller Rechtsanspruch möglich ist.
Oder Artists geben vielleicht die Monetarisierung der Bilder selbst auf und konzentrieren sich auf die Herstellung physischer Ergebnisse. Ähnlich wie unabhängige Musiker heute den Großteil ihres Geldes mit Tourneen, Merch-Verkäufen bei Konzerten und Patreon verdienen. Wenn so große grundlegende Veränderungen schnell passieren, ist die Zukunft wirklich schwer vorherzusagen.
In einer zynischen Zukunft könnte es meiner Meinung nach mehr sogenannte „Furry Artists“ geben. Wie bei anderen Big-Tech-Themen werden viele Machthaber den 18+-Bereich wahrscheinlich stark blockieren. Dann wäre NSFW-Arbeit bis zu einem gewissen Grad vor der Entwicklung geschützt, und man müsste Untergrund-Trainingsmodelle suchen oder wieder zu Artists gehen.
The Grateful Dead haben dieses Modell sehr ausgefeilt umgesetzt und mitunter bewusst darauf verzichtet, geistige Eigentumsrechte an ihrer Arbeit geltend zu machen. Sie glaubten, solche Ansprüche würden ihren Erfolg behindern, und formalisierten diese Haltung schließlich unter dem Namen „The Electronic Frontier Foundation“. Dass die EFF aus der Deadhead-Kultur hervorging, ist kein Zufall.
Ebenso, dass es kein OpenArt als Gegenstück zu OpenSource gibt. Natürlich weiß ich, dass Source Code nicht für ein allgemeines Publikum gedacht ist und sich auf Wunsch verbergen lässt, Kunst aber nicht. Das ist einfach ein Nebenprodukt generativer Gedanken.
Wenn man mit diesen Bildern trainiert, wird das AI-Modell meiner Meinung nach eher besser als schlechter. Artists erstellen damit kostenlos Trainingsdaten, die zeigen, welche Art von Rauschen die von ihnen beabsichtigte Bildbedeutung nicht verändert.
In naher Zukunft wird es unglaublich viele Menschen geben, die allein mit Standard-Tools hochwertige Kunst schaffen können.
Das ist ziemlich aufregend. Milliarden von Menschen die Macht zu geben, Lieblingsstile zu mischen, sie auf neue Motive anzuwenden und eigene, einzigartige und personalisierte Werke zu schaffen, ist eine unglaublich coole Fähigkeit.
Schon dadurch, dass AI-Modelle AI-generierte Inhalte fressen, kollabieren die Modelle von selbst. Siehe Model Collapse im Zusammenhang mit generativer AI.
Ich will progressive Gebühren für die Nutzung von Urheberrechten, geistigen Eigentumsrechten und Patenten sowie globale Zusammenarbeit und Gesetzgebung durch Regierungen. Vielleicht könnte es auch eine Lösung geben, bei der Werke weltweit ohne vorherige Erlaubnis verwendet werden dürfen, aber so weit in abwegige Überlegungen sollten wir nicht gehen.
Es wäre gut, wenn skalierende Lizenzgebühren gelten würden, etwa ein umsatzabhängiger Prozentsatz. Es gibt das indirekte Problem, dass Gewinnmargen je nach Branche unterschiedlich sind, aber es wirkt trotzdem am fairsten.
Ich würde mir wünschen, dass Urheberrechte im Besitz von Einzelpersonen weltweit, oder zunächst in der EU, langsam auf 0 Jahre nach dem Tod des Autors reduziert werden und Urheberrechte im Besitz von Unternehmen auf maximal 20 bis 30 Jahre.
Die Strafen für Unternehmen, die die Nutzung nicht melden oder keine Gebühren zahlen, müssen sehr hoch sein. Etwa 50 % des Bruttogewinns oder 50 % des Nettogewinns des betreffenden Jahres – nichts, was mit einem Klaps auf die Finger endet oder sich leicht umgehen lässt, sondern ein Anreiz, von vornherein nicht zu stehlen.
[*] Oder für einen Zeitraum, den die Gesellschaft für angemessen hält.
[**] Bis automatische Erkennung, ob gut oder schlecht, ausreichend gut wird.
Ich denke, so ließe sich private Nutzung erlauben, neuen Markteintritt fördern, Innovation anregen und besseres Verhalten von Akteuren wie OpenAI bewirken.
Dass Rechte kurz nach dem Tod auslaufen, fühlt sich unangenehm an; dass die Dauer des Urheberrechts je nach Alter des Autors stark variiert, ist ebenfalls schlecht; und dass auf vielen Werken übermäßig lange Urheberrechte liegen, ist auch nicht gut.
Es ist überhaupt kein Problem, wenn Urheberrechte noch zu Lebzeiten des Autors auslaufen. 20 bis 30 Jahre für alles reichen.
Diese „Lösung“ lässt es so aussehen, als würde auch die Kunstwelt in das Katz-und-Maus-Spiel eintreten, das Adblocker in den letzten 10 bis 20 Jahren geführt haben.
Ich finde es weiterhin eindeutig falsch, ohne Zustimmung Bilder aus dem Internet zu scrapen und sie für eine AI zur eigenen Geldmacherei zu verwenden. Ich hoffe, dass mehr Möglichkeiten zum Schutz von Kunstwerken, einschließlich Audio und anderen Formaten, leichter zugänglich werden.
Also ein zusätzliches Modell dazu bringen, das Hauptmodell zu täuschen, um dessen Widerstandsfähigkeit gegen Filter wie Nightshade zu erhöhen.
Der Artikel zeigt nicht, dass diese Methode die Details des Bildes ruiniert. Das sieht man schon an den Thumbnails des referenzierten Papers: https://arxiv.org/pdf/2310.13828.pdf
Und vielleicht bin ich naiv, aber es wirkt ziemlich leicht, das mit einem schnellen Vorverarbeitungsfilter zu umgehen. Ich weiß nicht, ob klassische Rauschunterdrückung allein ausreicht, aber im schlimmsten Fall lässt man img2img-Diffusion darüberlaufen.