DALL·E 3
(openai.com)- DALL·E 3 von OpenAI ist ein Text-zu-Bild-Generierungsmodell für ChatGPT-Nutzer und API-Entwickler, das darauf abzielt, Bilder zu erzeugen, die eingegebene Sätze genauer widerspiegeln
- Bisherige Systeme übersehen häufig Wörter oder Beschreibungen, sodass Nutzer auf Prompt Engineering angewiesen waren; DALL·E 3 ist jedoch darauf ausgelegt, selbst bei denselben Prompts bessere Ergebnisse als DALL·E 2 zu liefern
- Durch die ChatGPT-Integration können Nutzer einfache Sätze oder ausführliche Absätze eingeben, woraufhin ChatGPT automatisch detaillierte Prompts für DALL·E 3 erstellt
- Wenn einem das Ergebnisbild gefällt, Details aber nicht passen, kann man mit wenigen Wörtern eine Änderung anfordern; für den Nachdruck, Verkauf oder die Kommerzialisierung erzeugter Bilder ist keine gesonderte Genehmigung erforderlich
- Als Sicherheitsmaßnahmen lehnt das System Anfragen nach den Namen real existierender öffentlicher Personen sowie Anfragen im Stil lebender Künstler ab; Kreative können ihre Bilder künftig vom Training von Bildgenerierungsmodellen opt-outen
Bilderzeugung, die Text genauer folgt
- DALL·E 3 wird ChatGPT-Nutzern und Entwicklern über die API bereitgestellt
- Text-zu-Bild-Systeme neigen dazu, Wörter oder Beschreibungen zu ignorieren, weshalb man häufig Prompt Engineering lernen muss, um die gewünschten Ergebnisse zu erzielen
- DALL·E 3 zielt darauf ab, Bilder zu erzeugen, die dem vom Nutzer bereitgestellten Text genauer folgen
- Es ist darauf ausgelegt, selbst bei denselben Prompts spürbare Verbesserungen gegenüber DALL·E 2 zu bieten
Prompt-Erstellung und Überarbeitung mit ChatGPT verbinden
- DALL·E 3 ist nativ in ChatGPT integriert, sodass Ideenfindung und Prompt-Verfeinerung innerhalb von ChatGPT erfolgen können
- Nutzer können die Szene, die sie sehen möchten, in natürlicher Sprache anfordern – von einfachen Sätzen bis hin zu ausführlichen Absätzen
- ChatGPT erstellt auf Basis der Ideen des Nutzers automatisch maßgeschneiderte, detaillierte Prompts für DALL·E 3
- Wenn einem ein bestimmtes Bild gefällt, es aber nicht genau dem gewünschten Ergebnis entspricht, kann man mit nur wenigen Wörtern Änderungen anfordern
Nutzungsrechte für erzeugte Bilder
- Mit DALL·E 3 erstellte Bilder können von den Nutzern verwendet werden
- Wie bei DALL·E 2 ist keine gesonderte Genehmigung von OpenAI erforderlich, um erzeugte Bilder nachzudrucken, zu verkaufen oder zu kommerzialisieren
Sicherheitsmaßnahmen zur Reduzierung von Darstellungen öffentlicher Personen und schädlichen Verzerrungen
- DALL·E 3 verfügt über Abmilderungsmaßnahmen, die die Bilderzeugung bei direkten Anfragen nach Namen öffentlicher Personen ablehnen
- OpenAI hat mit Red-Teams zusammengearbeitet, um die Sicherheitsleistung in Risikobereichen wie der Erzeugung öffentlicher Personen sowie schädlichen Verzerrungen im Zusammenhang mit visueller Über- und Unterrepräsentation zu verbessern
- Red-Teams sind Domänenexperten, die Modelle Stresstests unterziehen
- Diese Arbeit fließt in die Risikobewertung und Maßnahmen zur Risikominderung in Bereichen wie Propaganda und Desinformation ein
- OpenAI erforscht außerdem bessere Methoden, um zu erkennen, ob ein Bild durch KI erzeugt wurde
- Das Unternehmen experimentiert mit einem internen Tool namens provenance classifier, das dabei helfen kann zu erkennen, ob ein Bild mit DALL·E 3 erzeugt wurde
- OpenAI plant, mithilfe dieses Tools besser zu verstehen, wie erzeugte Bilder verwendet werden können, und weitere Inhalte dazu zu teilen
Kontrolle für Kreative und Referenzmaterial
- DALL·E 3 ist darauf ausgelegt, Anfragen nach Bildern im Stil lebender Künstler abzulehnen
- Kreative können opt-outen, damit ihre Bilder künftig vom Training von Bildgenerierungsmodellen ausgeschlossen werden
- Als zugehörige Materialien stehen ein Forschungspapier und ein Formular zum Opt-out für Bilder bereit
1 Kommentare
Hacker-News-Meinungen
Wenn es noch nicht veröffentlicht ist, fällt es in die Kategorie Ankündigung einer Ankündigung (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
Wenn es tatsächlich etwas zu diskutieren gibt, kann man dann einen Thread eröffnen; Warten schadet nicht (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)
Für alle Interessierten: Ich habe letztes Jahr mit DALL·E 2 etwa 7.000 Bilder erzeugt und auf https://generrated.com/ hochgeladen
Ich wollte ausprobieren, was DALL·E 2 erzeugen kann, und es anderen als Inspiration oder Ausgangspunkt teilen
Das war noch vor der API, daher musste ich alles manuell erzeugen und speichern, und es war auch ziemlich teuer, aber es hat Spaß gemacht
Wenn ich Zugriff auf DALL·E 3 bekomme, muss ich wohl alles aktualisieren
Edit: Tatsächlich scheint es so zu sein, dass nur lebende Künstler nicht in Prompts verwendet werden dürfen; zumindest steht es so im Artikel
Es gibt sichtbare Muster, zu denen man unzählige plausible Hypothesen aufstellen könnte, aber aus Neugier würde ich gern wissen, was die tatsächliche Ursache ist
Beim Betrachten der Bilder ist besonders interessant, dass der Text nie exakt getroffen wird und immer ein wenig danebenliegt. Manchmal liegt er stark falsch, aber meistens ist er ziemlich nah dran
Ich habe einen Discord-Bot für Midjourney gebaut, mit dem man per einfacher Konfiguration Bilder herunterladen und annotieren kann, inklusive so vieler abrufbarer Informationen wie möglich, etwa der Version: https://github.com/ernop/social-ai/tree/main/SocialAI
Perfekt ist es trotzdem nicht. Die Informationen stammen aus dem gesendeten Befehl; weil man sich damals möglicherweise auf die Defaults verlassen hat, lässt sich das heute schwer rekonstruieren, wenn Version, Seed usw. nicht im Prompt enthalten waren
Trotzdem ist es zumindest gut, einen Ordner mit 30.000 Bildern samt Prompts dauerhaft aufzubewahren und sie später erneut ausführen zu können, um Vergleiche über die Zeit anzustellen
Was mir dazu einfällt: Die ChatGPT-Integration ist riesig. Wenn die Integration für ChatGPT Plus und Unternehmen im Oktober kommt, könnte das Midjourney und mehrere Text-zu-Bild-SaaS-Unternehmen stark unter Druck setzen und sie dazu bringen, sich auf NSFW-Anwendungsfälle zu konzentrieren
Die Qualität sieht ähnlich aus wie bei Midjourney, aber Midjourney hat auch nützliche Funktionen wie Upscaling oder das Erzeugen mehrerer Varianten. Ich frage mich, ob DALL·E 3 bei der User Experience mithalten kann
Als UI bevorzuge ich ChatGPT deutlich gegenüber Discord, daher gefällt mir diese Richtung besser
Bei Midjourney oder Stable Diffusion bekommt man derzeit manchmal ein fantastisches Bild und manchmal nicht; es fühlt sich wie ein Casino an. Bei Stable Diffusion kann man maskieren und es erneut versuchen, aber das ist umständlich und zeitaufwendig
Wenn man sagen könnte: „Dieses Bild ist gut, aber ich hätte gern nur einen Affen, und ändere den Himmel in Grün“, und es das Originalbild übernimmt und entsprechend bearbeitet, wäre das ein kompletter Gamechanger
Wahrscheinlich funktioniert es in der Praxis nicht so, aber ich hoffe es
Trotzdem dürfte es wirklich interessant werden zu sehen, wer oder was diesen Wettbewerb gewinnt
Bing Chat nutzt intern bereits GPT-4, Bing Image Creator ist ebenfalls integriert und verwendet intern etwa DALL·E 2.5, ist aber nicht gut
Es schreibt im Grunde nur den Bild-Prompt für einen, und das ist eher ein nutzloses Stille-Post-Spiel für etwas, das man auch direkt selbst schreiben kann
Vielleicht wären auch große Sprachmodelle möglich, die auf Literotica trainiert wurden
Ich sehe keinen riesigen Unterschied, zumal Midjourney deutlich besser ist als DALL·E
„DALL·E 3 wurde so konzipiert, dass Anfragen nach Bildern im Stil lebender Künstler abgelehnt werden“, und „Urheber können ihre Bilder nun vom Training künftiger Bildgenerierungsmodelle ausschließen“
Wenn dem so ist, wurden auch für diese Version urheberrechtlich geschützte Werke ohne Erlaubnis fürs Training verwendet.
Außerdem wird die Last, manuell einen Ausschluss zu beantragen, auf die Künstler abgewälzt.
Haben sie keine Angst, dass ein Gericht sie eines Tages dazu zwingt, für jedes generierte Bild Gebühren an die jeweiligen Künstler zu zahlen?
Sprich: Ein Gericht müsste Tausende sehr großer und mächtiger Unternehmen dazu zwingen, Millionen von Menschen zu bezahlen – ein rechtlicher Aufwand, der praktisch kaum zu bewältigen wäre.
Quellen oder Methodik wurden nicht offengelegt, und abgesehen von „Training“ und „Urheberrecht“ ist alles Weitere fraglich. Andernfalls würden sie vermutlich bereits Lizenzgebühren zahlen.
Sie könnten auch Ausgaben der vorherigen Version 2 zusammen mit von GPT erstellten Prompts verwendet und diese von Menschen an die generierten Bilder angepasst haben.
Oder sie könnten neue und bestehende Bilder per Computer Vision analysiert, neue Merkmale in den Bildern den Prompts hinzugefügt und damit erneut trainiert haben.
Angesichts des Zustands der Gerichte erwarte ich nicht, dass das zurückgedreht wird.
Mit großen Rechteinhabern wie Disney werden wahrscheinlich Hinterzimmerdeals gemacht, um den Bären nicht zu reizen, während kleine Akteure schutzlos bleiben – genauer gesagt: ohnehin schon arm und dann noch ärmer.
Für Midjourney könnte das tatsächlich eine echte Bedrohung sein, aber Stable Diffusion wird es wohl nicht verdrängen.
Die Prompt-Treue dürfte hervorragend sein, aber mangelnde Anpassbarkeit und Einschränkungen bei Kunststilen werden den Nutzen stark verringern.
Vermutlich werden Leute mit DALL·E 3 Grundbilder für die Komposition erstellen und Stil, Upscaling und Details dann in Stable Diffusion erledigen.
Ultrahochwertige Bilder, bei denen man kaum erkennt, dass sie generiert sind, sehe ich deutlich häufiger bei Midjourney als bei Stable Diffusion.
Midjourneys Filtering war schon nervig genug, und dass ChatGPT einfache Anfragen sinnlos ablehnt, weil sie missverstanden werden könnten, war endlos frustrierend.
Wenn man beides kombiniert und explizit noch ein Filtering nach Künstlerstilen hinzufügt, lasse ich es einfach bleiben.
Nebenbei: Ich erstelle mit Midjourney kein NSFW-Material. Ich meine Situationen, in denen ich ein „Stockfoto einer Person, die Käse auf einer Arbeitsplatte schneidet“ wollte, aber Wörter wie „cutting“ oder „slicing“ nicht verwenden konnte, weil sie auch zur Erzeugung von Gore-Bildern benutzt werden könnten.
Es ist schon komisch, dass es heißt: „Urheber können ihre Bilder nun vom Training künftiger Bildgenerierungsmodelle ausschließen“, der Link aber zu einem Formular führt, in dem man Bilder einzeln einreichen muss.
Zwar heißt es, man könne GPTBot auf der eigenen Website blockieren, aber was passiert, wenn der Bot die Bilder bereits gescrapt hat, ist ebenfalls ein Problem.
Außerdem kann ohnehin jemand anderes meine Fotos auf eine andere Website hochladen, die GPTBot nicht blockiert.
Wegen eines aktuellen Projekts erstelle ich gerade viele Midjourney-Bilder, und mir ist wieder klar geworden, was AI-Art-Untergangspropheten offenbar nicht verstehen: die Bedeutung von Kuratierung.
Wenn man nur /r/Midjourney oder die empfohlenen Bilder im obigen DALL·E-Link überfliegt, sieht man, wie langweilig die „Standardergebnisse“ der Generatoren sind.
Bilder zu erstellen mag leichter werden, aber herauszufiltern, welche Bilder ansprechend sind, erfordert weiterhin künstlerisches Gespür und Können.
Im großen Bild dürfte illustratives Schaffen stärker zu einer Kuratierungstätigkeit werden, und die Fähigkeit, aus großen Bildmengen auszuwählen, wird zur Kernkompetenz.
Wenn man ein Referenzbild erstellen kann, das man als Eingabe nutzt, werden die Ergebnisse meiner Meinung nach besser. Je besser die Eingabe, desto besser die Ausgabe.
Im kommerziellen Bereich fühlt es sich so an, als würden Künstler, die AI gut einsetzen, einen Vorsprung haben.
Trotzdem bleibt Künstlern mit Geschmack und technischem Talent Spielraum, Bilder näher an ein kuratiertes Ideal heranzumanipulieren.
Wie bei heutigen Stable-Diffusion-basierten Photoshop-Workflows schaffen die Generierungen die Grundlage, und wenn die Workflows reifer werden, dürfte wieder mehr manuelle Eingabe dazukommen.
Zum Beispiel legt man mit ControlNet eine bestimmte Pose oder Anordnung fest und blockt damit die Komposition, die AI füllt 90 % aus, und der Mensch verfeinert nach Geschmack die letzten 10 % und iteriert.
Angesichts des Punkts „DALL·E 3 ist nativ auf ChatGPT aufgebaut“, der engen Integration zwischen ChatGPT und Bildgenerierung sowie der Tatsache, dass zur Ankündigung kein Forschungspapier erschienen ist, vermute ich stark, dass es sich um einen Probelauf der multimodalen Fähigkeiten von GPT-4 handelt und dass es wahrscheinlich auf ähnlicher Infrastruktur läuft.
Deshalb wird es einfach API-Aufrufe verwenden. Daran ist nichts Besonderes; Bing macht dasselbe.
Siehe: https://arxiv.org/pdf/2303.12712.pdf
Wurden die urheberrechtlich geschützten „Trainings“-Materialien entfernt, oder wird weiterhin behauptet, man habe ohne Zustimmung aus der Arbeit von Menschen „gelernt“, und verkauft das dann ohne Erlaubnis?
Das heißt: Man stützt sich weiterhin auf die Arbeit von Menschen, aber immerhin kann man einen Opt-out-Antrag stellen, damit die eigenen Arbeiten nicht zum Futter für DALL·E 4 werden.
Entscheidend ist, ob sich erfolgreich argumentieren lässt, dass eine KI wie ein Mensch lernt und Ausgaben, die keine direkte Kopie bestehender Werke sind, neue Schöpfungen darstellen.
Das gilt ähnlich, wenn eine KI den Kunststil eines bestimmten Künstlers nachahmt. Es ähnelt einem Menschen, der sich am Wochenende die Werke eines Künstlers ansieht und dann einen Auftragsjob im selben Stil malt; da ein Kunststil nicht urheberrechtlich geschützt werden kann, ist das völlig legal.
Auch wenn Adobe das natürlich gern anders hätte[0].
0: https://twitter.com/UltraTerm/status/1679294173793628161
Ein weiterer Gedanke, der mir immer wieder kommt: Könnten solche KI-Erzeugnisse nicht einen Zusammenbruch nach Art der Spieleindustrie auslösen?
Wenn stark beworbene, aber bedeutungslose und minderwertige KI-Inhalte im Übermaß angeboten werden, verlieren Verbraucher vielleicht das Interesse und hören auf, in den jeweiligen Branchen Geld für Bücher, Spiele, Filme, digitale Kunst oder Musik auszugeben – und diese könnten kollabieren.
https://investor.shutterstock.com/news-releases/news-release...
Wie immer wäre mehr Transparenz bei den Trainingsdaten wünschenswert.
So etwas sollte man nicht tun. Aus Sicht des Copyright-Maximalismus ist das eine Urheberrechtsverletzung.
Ein weiterer Wettbewerb beginnt.
Manche Leute scheinen OpenAI gegenüber starke Abneigung zu haben, aber zumindest ist OpenAI wirklich sehr gut darin, sich in bestimmten Bereichen selbst zum Maßstab, den es zu übertreffen gilt, zu machen.
Und dabei scheint das Unternehmen das gesamte Feld ein gutes Stück voranzutreiben.
Alte Leute wie ich erinnern sich daran, was Microsoft in den 90ern abgezogen hat. Wenn sie heute in irgendeinem Bereich vorn lägen, würden sie dasselbe tun, und im Hintergrund tun sie es gelegentlich immer noch.
Ich bin kein Fan von FB oder Zuckerberg, aber LLAMA kostenlos freizugeben war ein guter Schritt.
Ich hoffe, dass es bei OpenAI noch ein weiteres Leak gibt und wir Zugriff auf alles bekommen.