- Generative Bild-KI erzeugt mit latent space, Rauschunterdrückung und der Verknüpfung von Text und Bild plausible Ergebnisse, hat aber strukturelle Grenzen, wenn es darum geht, exakt das gewünschte konkrete Bild zu erhalten
- Stable Diffusion wird darauf trainiert, Millionen von Bildern Rauschen hinzuzufügen und dieses schrittweise wiederherzustellen, sodass aus reinem Rauschen plausible Bilder entstehen
- Text-Prompts müssen mehrfach vom Wortraum in den Bildraum übersetzt werden, und meist können auf einmal nur etwa 75 Wörter verarbeitet werden, was eine feine Steuerung erschwert
- Einfache Blog-Header oder SEO-Texte, bei denen das Ergebnis nicht besonders wichtig ist, kann generative KI schnell ersetzen, aber für präzise Vorgaben wie Komposition, Pose, Stil und Farbe ist weiterhin Input von Illustratoren nötig
- In der kommerziellen Illustration ist ein kollaborativer Workflow realistischer: Menschen legen Lineart, Komposition und Kernidee fest, KI füllt weniger wichtige Details wie Farbe, Licht und Hintergrund aus, danach wird erneut überarbeitet
Latent Space zum Verständnis von Stable Diffusion
- Farben, Wörter und Bilder lassen sich alle als Zahlenlisten darstellen, und eine gute Darstellungsweise ist so aufgebaut, dass ähnliche Objekte nahe beieinanderliegende Zahlen haben
- Für den Farbraum gibt es verschiedene Ansätze wie RGB, Lch und CMYK, und jeder definiert „Ähnlichkeit“ anders
- Zahlen sind weniger eine Datei, die die Farbe selbst speichert, als vielmehr ein Label und eine Anweisung, die auf diese Farbe verweisen
- Auch Wörter lassen sich mit Hunderten von Zahlen darstellen; „mom“ und „dad“ können nah beieinander liegen, während „mom“ und „prestidigitation“ weiter voneinander entfernt sind
- Bilder sind komplexer als Wörter und Farben, aber auch dafür lässt sich mit Tausenden von Zahlen ein Bildraum bilden
- Würde man die RGB-Werte aller Pixel aufzählen, bräuchte man Millionen von Zahlen
- Selbst semantisch ähnliche Bilder wie eine schwarze Katze und eine weiße Katze können anhand der Pixelwerte sehr weit auseinanderliegen
Der latente Bildraum wird aus Bildunterschriften abgeleitet
- Viele Bilder haben Captions, Labels oder umgebenden Text, sodass sich über die Beziehung zwischen Bild und Text ein Bildraum aufbauen lässt
- Fotos mit dem Label „cat“ können nah beieinander angeordnet werden, Fotos mit dem Label „car“ ebenfalls
- Ein Label wie „Miyizaki cat-bus“ könnte irgendwo zwischen Katze und Auto liegen
- In der Forschung zu generativer KI wird ein solcher Raum image latent space genannt
- Der latent space kann fast jedes Bild, das man sehen möchte, aber auch zufällige, uninterpretierbare Bilder als Zahlenliste annähern
- Dieser Raum wird für Bilder mit der Library of Babel verglichen
Wie Stable Diffusion funktioniert
- Stable Diffusion ist nicht die einzige Methode zur Bildgenerierung, aber eine weit verbreitete
- Das Training läuft so ab, dass Millionen von Bildern etwas Rauschen hinzugefügt wird und der Computer dann lernt, sie sauber zu rekonstruieren
- Danach wird noch mehr Rauschen hinzugefügt, und das System wird erneut darauf trainiert, es in ein weniger verrauschtes Bild zurückzuführen
- Wiederholt man diesen Prozess, bis das Bild fast verschwindet, lernt der Computer schrittweise, zu praktisch jedem Bild zurückzufinden
- Parallel dazu wird auch die Verknüpfung von Text und Bild gelernt
- Ein Katzenfoto hat eher eine Caption wie „my cute kitty mister french fry“
- Eine Caption wie „the engine from a 1959 Austin Healey“ ist dafür eher unwahrscheinlich
- Cross attention verbindet mehrere KI-Systeme so, dass beim Entrauschen ein Bild in Richtung einer bestimmten Text-Caption geschoben wird
- Generative KI kombiniert dem Entrauschungsprozess also weitere Ziele, um Bilder in eine bestimmte Richtung zu lenken
Warum Finger und Gesichter entgleisen
- Der latent space ist kein Raum, der einfach die Trainingsbilder selbst enthält, sondern ein Raum, der alle möglichen Bilder repräsentiert
- Die Kraft, die vom Rauschen wegführt, priorisiert Bildschärfe, während die Kraft in Richtung Text-Label darauf fokussiert ist, Bilder zu erfüllen, die mit diesem Text gelabelt werden könnten
- Bild-Captions behandeln die Genauigkeit menschlicher Hände oder die Zahl der Finger oft nicht
- Negative Labels wie „no deformed hands“ wirken nur begrenzt, wenn es nur wenige Bilder gibt, die mit „deformed hands“ gelabelt sind
- „polydactyly“ kann besser funktionieren, weil dieses Label stärker mit zusätzlichen Fingern verbunden ist
- Bei Gesichtern gibt es dasselbe Problem, weshalb viele generative Systeme eigene Komponenten zur Gesichtsreparatur haben
- Für das Kernsystem kann es genügen, wenn etwas nur wie ein Gesicht aussieht
- Das menschliche Auge ist jedoch sehr empfindlich für die Genauigkeit von Gesichtern, etwa die Ausrichtung beider Augen
- Wenn man Autorennamen wie James Gurney in den Prompt aufnimmt, kann die Gesamtstimmigkeit des Bildes besser werden
- Allgemeine Captions konzentrieren sich meist auf Nomen und zentrale Objekte
- Der Stil eines Künstlers ist eher eine über das ganze Bild verteilte Gestalt als etwas, das nur in einem Teil der Pixel steckt, was zu konsistenteren Ergebnissen führen kann
Aufgaben, die generative KI leicht ersetzen kann
- Das menschliche Bedürfnis nach physischen Medien wie echter Malerei, Skulptur, Holzschnitt oder Stickerei wird wahrscheinlich nicht verschwinden
- Die Ergebnisse physischer Medien können weiterhin für das Training generativer KI genutzt werden
- Wenn Werke ohne Erlaubnis zum Training verwendet werden und dann den Lebensunterhalt ihrer Urheber ersetzen helfen, kann sich das übergriffig anfühlen
- Allerdings liegen Bilder im latent space nicht in einer spezifischen, direkt abrufbaren Form vor; mit einem bestimmten Prompt und etwas Glück lassen sich höchstens ähnliche Bilder wieder hervorholen
- Es ist nicht klar, wie man menschlichen Künstlern Fair Use erlauben, ML-Nutzung aber rechtlich separat einschränken könnte
- Generative KI kann Illustrationen und Teile von Texten ersetzen, bei denen der Inhalt eigentlich nicht wichtig ist
- Grob passende Blog-Header-Bilder, die nur ein Seitenlayout füllen sollen
- Spamartige wöchentliche Blogposts für SEO
- Solche Outputs sind eher möbelartige Inhalte, um die sich bis zum Endkonsumenten niemand besonders schert
- Diese Arbeiten waren ohnehin nie besonders gut bezahlt, verschwinden bereits schnell, und selbst strenge Regulierung zeigt keinen klaren Ausweg
Warum es schwer ist, ein bestimmtes Bild zu bekommen
- Mit generativer KI eindrucksvolle Bilder zu erzeugen, ist relativ leicht, aber ein bestimmtes Bild zu erzeugen, ist oft nahezu unmöglich
- Vielleicht wirkt etwa eines von zehn Bildern „cool“, aber das heißt nicht, dass es wirklich dem angefragten Bild entspricht
- Auf Showcase-Seiten für generierte Bilder wie civitai kann man sehr lange Prompts mit den Ergebnissen vergleichen
- Die Seite kann NSFW sein
- Viele Elemente des Prompts tauchen im Bild möglicherweise überhaupt nicht auf
- Ein Gesamtkonzept wie „a mystical dragon“ kann im Prompt hervorstechen und im Bild trotzdem fehlen
- Diese Nutzungsweise ähnelt eher einem Gacha-Spiel oder einem Spielautomaten zum Bildermachen
- Man gibt einen Prompt mit vielen interessanten Ideen ein und wiederholt den Vorgang, bis etwas Zufriedenstellendes herauskommt
- Das Ergebnis kann attraktiv sein, ohne tatsächlich das angeforderte Bild zu sein
- Text muss in realen Prompts erst in den Text-latent-space und dann in eine Funktion des Bild-latent-space übersetzt werden, weshalb er als Mittel zur Bildsteuerung schwerfällig funktioniert
- Auf einmal lassen sich meist nur etwa 75 Wörter verarbeiten
- Wird es länger, muss es in der cross attention über separate Leitsysteme aufgeteilt werden
Bildeingaben sind ein stärkeres Kontrollmittel
- Bilder lassen sich gut in den Bild-latent-space übersetzen und sind deshalb eine direktere Einschränkung als Text
- Bildbasierte Prompts erlauben eine feinere Kontrolle von Inhalt und Komposition der generierten Ergebnisse
- Ein Bild erzeugen, das auf dieselbe Lineart wie ein anderes Bild reduziert werden kann
- Ein Bild erzeugen, das derselben Tiefenkarte wie ein anderes Bild entspricht
- Ein Bild erzeugen, das zur Pose eines anderen Bildes passt
- Ein Bild erzeugen, das inhaltlich anders ist, aber stilistisch zu einem anderen Bild passt
- Es an die Perspektivlinien eines anderen Bildes anpassen
- Es an die Farbpalette eines anderen Bildes anpassen
- Das Problem ist, woher diese Leitbilder kommen sollen
- Die Rolle, das gewünschte Illustrationskonzept zu verstehen und in Lineart, Posenskizze und Stil zu übersetzen, überschneidet sich mit der des bisherigen Illustrators
- Generierte Bildarbeit mit anspruchsvollen Vorgaben ist ohne Illustratoren kaum sinnvoll nutzbar
Möglicher KI-Workflow für kommerzielle Illustration
- Kommerzielle Illustratoren werden ihre Arbeit wahrscheinlich behalten, aber KI als Teil ihres Workflows lernen müssen, um mit höheren Geschwindigkeiten mitzuhalten
- Das bedeutet nicht, mit dem Zeichnen aufzuhören und zum Prompt Engineer zu werden
- Das würde ein enormes Training verschwenden und nur wenig einbringen
- Ein möglicher digitaler Malprozess könnte so aussehen
- Lineart auf traditionelle Weise erstellen und sich dabei auf Komposition und Kernidee konzentrieren
- Generative KI etwa 12 Vorschläge für Farben und Lichtstimmung machen lassen
- Davon 1 bis 2 auswählen
- Fast das ganze Bild über den von der KI erzeugten Pixeln neu übermalen und Farben absichtlich anpassen und korrigieren
- Für Künstler, die viel Sorgfalt und Emotion in die Farbauswahl legen, passt diese Methode womöglich nicht
- Es gibt keinen einzigen Ansatz, der für alle passt, und Künstler mit Deadlines können die am wenigsten wichtigen und langweiligsten Schritte von KI ausfüllen lassen
- Menschenmengen
- Stadtlandschaften
- Vegetation
- Viele Bilder enthalten wie ein Header-Bild auf einer Seite notwendige, aber unwichtige Möblierung, und genau dieser Bereich wird zum Einsatzfeld generativer KI
Die Lücke zwischen Produkten und Forschungsrichtung
- Die Forschung zu generativer KI entwickelt immer mehr Methoden, mit Bildeingaben die Bildgenerierung zu steuern
- Produkte, die auf den Markt kommen, lassen sich aber nur schwer in den Workflow von Illustratoren einfügen
- Experimente, um ein nützliches Maß an Kontrolle zu erhalten, wurden dadurch ermöglicht, dass Open-Data-Modelle auf privaten Computern liefen
- Das Zukunftsbild kommerzieller Illustration ähnelt eher einem Modell, in dem Illustratoren das Wesentliche festlegen, generative KI weniger wichtige Teile ausfüllt und Menschen anschließend wieder überarbeiten
- Auch Produkte für generative KI müssen sich in Richtung solcher Workflows weiterentwickeln
1 Kommentare
Meinungen auf Hacker News
Noch eine Sichtweise, die niemand mögen wird, aber die Auswirkungen von AI auf Künstler dürften denen ähneln, die Spotify auf die Musikindustrie hatte. Sprich: Es wird wahrscheinlich die Einnahmeströme aller abwürgen, außer denen von Publishern und großen Artists/Playern.
Spotify hat das Geld aus dem physischen Vertrieb praktisch verschwinden lassen und war schlimmer als die damals unvermeidliche Piraterie. Bei Piraterie musste man wenigstens nicht auch noch Anwaltskosten zahlen, um mit dem Label neu zu verhandeln, während man ohnehin kein Geld bekam.
Anbieter wie Adobe und OpenAI scheinen Künstlern Kleingeld zu zahlen, damit sie Bilder zum Trainieren von Modellen zeichnen, sie dann Verzichtserklärungen unterschreiben lassen, nach denen es „in Ordnung ist, wenn ich mit dieser AI-Art kein Geld verdiene“, und die Ergebnisse anschließend teuer an Orte wie Splice weiterverkaufen zu wollen: https://splice.com/features/sounds
Am Ende wird das Modell selbst fast egal sein; der eigentliche Differenzierungsfaktor wird sein, mit wessen Werken es trainiert wurde. Aber dann wird es wohl heißen: „Dieses Bild wurde von AI erstellt, also müssen wir dir nichts zahlen.“
Frühere Maschinen ersetzten vielleicht ein bis zwei Tätigkeiten, aber wenn Menschen das Training von AI wirklich effizient machen, ersetzt sie Hunderte von Tätigkeiten auf einmal. Außerdem verringert AI den Bedarf an anderen Menschen und verstärkt so Isolation.
Aus diesen Gründen wäre die Welt ohne AI viel besser dran, und ich denke, Tech-Unternehmen ruinieren die Welt mit ihren monströsen Produkten.
Spotify hat die Wirtschaftsstruktur der Piraterie übernommen und ihr eine dünne Hülle von scheinbarer Legalität übergezogen.
Erstens sind AI-generierte Bilder zufällig und eher Wegwerfware. Man bekommt vielleicht ein tolles Bild, das man einmal verwenden kann, aber was kommt danach? Darauf lässt sich nur schwer eine Kampagne aufbauen.
Zweitens ist AI-generierte Kunst nicht urheberrechtlich geschützt, sodass ein nachahmender Wettbewerber deine mit AI erstellten Marketingbilder frei verwenden dürfte.
Zumindest kann man die Arbeit eines bezahlten Grafikdesigners als Seed in die AI geben, und Seed-basierte AI-Bilder können urheberrechtlich geschützt sein. Aber dieser Künstler wird bessere Arbeit leisten als ein unbezahlter Praktikant.
Als ich klein war, legte mein Vater sonntagnachmittags ein Album auf und hörte einfach zu. Wirklich nur zuhören. Heute machen das nur noch sehr wenige.
Inzwischen gibt es eine große Nachfrage nach Begleitmusik, die man beim Autofahren, Lesen, Surfen im Internet, Coden oder Putzen hört. Seit Musik portabel wurde, hat sich die Konsumweise grundlegend verändert, und Spotify hat diesen Wettbewerb einfach gewonnen.
Verglichen mit den Anfangstagen digitaler Musik habe ich den Eindruck, dass der Vertrieb physischer Medien eher zunimmt. Das hat weniger mit Spotify zu tun als mit der Digitalisierung von Musik an sich.
In meinem Umfeld sehe ich viele, die Merchandise oder Tonträger kaufen, um ihre Lieblingskünstler zu unterstützen, statt Musik tatsächlich über physische Formate zu hören.
Solche Texte setzen meist Text-zu-Bild-Generierung und Prompt Engineering voraus, oft weil den Autoren praktische Erfahrung mit den entsprechenden Modellen fehlt. Wenn man es nicht nur zum Spaß macht, ist dieser Ansatz im Kern nicht der richtige.
Arbeiten, die Vorhersagbarkeit und Kontrolle erfordern, ähneln eher „Zeichne die restlichen Eulen in einem ähnlichen Stil wie die anderen Eulen, die ich von Hand gezeichnet habe“, kombiniert mit Photobashing und manuellen Korrekturen/Compositing. Um Ergebnisse zu schaffen, die nicht langweilig sind, ist das ein hybrider Bereich, der ähnlich wie 3D-CGI sowohl künstlerische als auch technische Fähigkeiten erfordert.
Das ist kein Problem, das aus mangelndem Sprachverständnis des Modells entsteht, und selbst wenn etwas auftaucht, das man vernünftigerweise AGI nennen könnte, wird sich daran wahrscheinlich nicht viel ändern. Text-Prompts haben nicht genug Kapazität, um Bedeutung zu transportieren.
Ein detaillierter Prompt und mehrere Beispiele für den gewünschten Stil scheinen ausreichend. Das heißt natürlich nicht, dass es einfach wäre, aber dafür scheint keine grundlegende Innovation nötig zu sein. Die erforderlichen Bausteine existieren bereits.
Es ist ein bisschen so, als würde man AI zur Schule schicken oder ihr im Matrix-Stil per Daten-Upload schnell neue Konzepte beibringen. Profis werden lernen, wie das geht, und der Markt wird sich um Leute bilden, die solche Arbeit wollen.
Kürzlich habe ich versucht, „einen Roboter, der einem Menschen gegenübersitzt und Magic: The Gathering spielt“ zu erzeugen. Schon den Menschen ins Bild zu bekommen war schwierig, und das Modell kennt MTG nicht gut genug, sodass es nur auf Muster wie „Brettspiel“ oder „Kartenspiel“ matcht.
Manche generierten Bilder sind viel besser als andere, sodass ich gern die Tischanordnung aus einem Bild und den Roboter aus einem anderen übernehmen würde, aber im Moment ist das praktisch unmöglich. Auch „blend“ taugt dafür nicht.
Ich habe keinen Zweifel, dass sich das verbessern wird, frage mich aber, ob darunter eine allgemeinere Grenze liegt. Vielleicht fehlen einfach nur Daten. Selbst eine Suche nach Magic: The Gathering bei Google Bilder ist ziemlich enttäuschend.
Ein weiteres Beispiel: Wenn man ein leuchtend blaues Logo verlangt, das in einen steinernen Monolithen eingraviert ist, wird das Logo manchmal tatsächlich eingraviert, aber nur selten, und blau leuchten tut es nie. Meist wird der ganze Monolith oder ein Teil davon blau.
Besonders gut fand ich die Stelle: „Kommerzielle Illustratoren werden ihre Jobs behalten, aber um mit dem höheren Arbeitstempo Schritt zu halten, werden sie im Allgemeinen lernen müssen, AI als Teil ihres Workflows zu nutzen.“
Ich zeichne gelegentlich Illustrationen, aber mein Stil unterscheidet sich ziemlich stark von dem, was generative AI macht. Kürzlich habe ich Version 1.1 eines Spielhandbuchs mit Midjourney-Bildern veröffentlicht, und jetzt investiere ich in einen richtigen Illustrator. Denn den Midjourney-Bildern fehlt es an Eigenständigkeit.
Allerdings kann sich das in ein paar Monaten ändern. Wegen der Konsistenz der Bilder werde ich weiter mit einem Illustrator arbeiten, aber AI könnte durchaus spektakulärere Ergebnisse liefern.
Auch der Punkt „in 2 Monaten ist es anders“ ist plausibel, aber das hört man seit anderthalb Jahren immer wieder, und qualitativ hat sich bisher nichts geändert. Die Qualität generierter Bilder ist besser geworden, aber nicht so sehr, dass man von einem qualitativen Sprung sprechen könnte.
Nebenbei: Der civitai-Link führt zu https://sambleckley.com/writing/civitai.com/images und ist ein Dead Link.
Link: https://youtu.be/FQ6z90MuURM?t=329
Ich betreibe zusammen mit meinem Partner ein paar kleine Internet-Nebenprojekte. Eines davon, ein contentbasiertes D2C-Geschäft, war bei Display-Ad-Creatives stark auf individuelle Illustrationen angewiesen; die CTR war okay und durchschnittlich, aber der CPC war viel zu hoch und der ROAS wirklich schlecht.
Vor ein paar Monaten haben wir unseren üblichen Illustrator gegen Stable Diffusion A/B-getestet, und das Ergebnis war ziemlich drastisch. Die CTR stieg um fast 20 %, und auch die CVR verbesserte sich kontinuierlich.
Ich stimme der Aussage des Artikels nicht zu, dass AI-generierte Bilder am besten bei Unternehmen funktionieren, bei denen der Inhalt eigentlich nicht wichtig ist. Dieses Geschäft war ein gutes Gegenbeispiel. In unserem Fall kamen AI-generierte Bilder bei der Zielgruppe besser an, und wir konnten zu niedrigeren Kosten wesentlich granularer personalisieren als zuvor.
Auch die CPA sank deutlich, und weil wir Creative-Varianten sehr eng steuern konnten, wurde Echtzeitoptimierung je nach Audience-Segment möglich. Die Launch-Zeit neuer Kampagnen halbierte sich ebenfalls, und Diskussionen über Designnuancen, Verzögerungen bei Deadlines und kreative Blockaden fielen weg.
Dass der menschliche Touch im kreativen Prozess abnimmt, löst bei mir gemischte Gefühle aus, aber aus reinem Growth-Hacking-Blickwinkel war es ein Game Changer, und wir haben die Zahlen, um das zu belegen.
Insgesamt sehe ich es als Netto-Gewinn. Es muss nicht das Ende menschlicher Illustratoren bedeuten, aber es wird sie zwingen, sich sensibler an Kundenanforderungen anzupassen. Selbst ein Content-Geschäft sollte bei der Beschaffung von Creatives nicht auf so große Reibung stoßen.
Am Ende gibt es Effizienz und es gibt Seele. Die Roboter haben Ersteres im Großen und Ganzen gut ersetzt, und manchmal überraschen sie auch bei Letzterem.
Ich frage mich, ob der geringere Hin-und-her-Aufwand von der sofortigen, interaktiven Reaktion kommt, also davon, weniger mit Menschen zu tun zu haben, oder eher von Vertrauen in die Maschine und Delegation an sie.
Wenn es nach dem Motto läuft: „Die Maschine hat dieses Icon auf Basis meiner Beschreibung erstellt, also muss ich die Farbwahl nicht hinterfragen“, dann ist das letztlich das klassische Problem, die Maschine für unfehlbar und kompetenter als Menschen zu halten. Vermutlich ist es eine Mischung aus beidem.
Wie wichtig Möbel in einem Raum sind, liegt auf einem Spektrum vom kurz genutzten Wartebereich bis zum Architekturbüro, und bei kommerzieller Kunst ist es nicht anders. Wenn das Bild wirklich bedeutungslos wäre, müsste man es dort gar nicht platzieren.
Nichtinformative Grafiken in den meisten nicht professionell gestalteten PowerPoint-Decks können noch weniger wichtig sein. Umgekehrt halte ich die Wahrscheinlichkeit für nahezu 0 %, dass das doppelseitige Auftaktbild eines Magazin-Features mit AI erstellt wird, außer der Artikel handelt von AI-generierten Bildern. Selbst dann haben Profis vermutlich länger daran gefeilt, die Form zu verfeinern, als an allem Übrigen.
In professionellen Grafik-Workflows sind Konkretheit und Kontrolle auf Pixelebene extrem wichtig. Egal, was Leute sagen, die keine professionellen Designer sind: Die heutigen Tools passen grundsätzlich nicht zu dieser Arbeit. Das Interface selbst ist falsch.
Adobe oder ein anderer Player, der weiß, was die Branche braucht, könnte das lösen, aber es wird wahrscheinlich nicht wie Midjourney aussehen.
„Sensibler auf Kundenanforderungen reagieren“ ist etwas anderes, als Gedanken von Kunden lesen zu müssen. Wer glaubt, dass das in diesem speziellen Markt kein Signal für das Ende menschlicher Illustratoren ist, macht sich selbst etwas vor.
Ich habe AI einmal meine Texte schreiben lassen, und es war grauenhaft. Umgekehrt habe ich AI-Tools wie Grammatikprüfer, Zusammenfasser, Rewrite-Tools und Speech-to-Text-Apps ignoriert, und dadurch fühlte sich mein Schreibprozess träge an.
Für mich funktioniert der Mittelweg am besten. Ich nutze generative AI nur in der Zwischenphase der Arbeit, nicht für den Input, also die Ideen, und nicht für den Output, also den eigentlichen Entwurf.
So schreibe ich: Ideen bekomme ich durch Nachdenken oder aus Gesprächen in Social Media. Die dort diskutierten Themen haben zumindest ein gewisses Maß an geprüfter Relevanz.
Danach setze ich mich etwa 10 Minuten hin und diktiere meine Gedanken in ein Tool wie AudioPen; dieses Tool fasst die 10 Minuten in 5 bis 6 Absätzen zusammen. Das ist der AI-Schritt. Wenn das Tool ein paar Absatzstrukturen vorschlägt, probiere ich sie aus, bis ich eine gute finde.
Danach schreibe ich den Entwurf selbst entlang dieser Gliederung. Abgesehen von der Grammatikprüfung am Ende nutze ich keine weiteren AI-Tools. AI ist ein großartiger Schreibpartner, aber ein schrecklicher Autor.
Die Aussage „Kommerzielle Illustratoren werden ihre Jobs behalten, aber um ein höheres Arbeitstempo zu halten, müssen sie größtenteils lernen, KI als Teil ihres Workflows zu nutzen“ entspricht genau der Realität, die ich beobachtet habe.
Außerhalb der Community für KI-Mediengenerierung denkt man immer noch, es gehe darum, Text einzugeben und ein Ergebnis zu bekommen. Tatsächlich stellt man einen gesamten Workflow zusammen, um genau die gewünschte Art von Bild zu erhalten.
Zum Beispiel: https://old.reddit.com/r/StableDiffusion/comments/14ye2eg/co...
Das zweite Bild ist das Ergebnis, aber das erste ist interessanter. Es ist ein nodebasiertes Interface, ähnlich dem, was man häufig in Game-Development-Tools wie Unreal Engine sieht: https://docs.unrealengine.com/5.2/en-US/nodes-in-unreal-engi...
Es ist vergleichbar damit, APIs miteinander zu verbinden, um das Ergebnisbild zu erhalten. Ich glaube, die Bilderzeugung der Zukunft wird tatsächlich eher Backend-Programmierung ähneln als dem eigentlichen Zeichnen. Denn der eigentliche Zeichenanteil wird automatisiert, und die Kreativität liegt im Workflow selbst.
Natürlich wird irgendwann auch der Workflow-Teil automatisiert werden, aber Computer können noch nicht gut genug Gedanken lesen, um die Absicht des Nutzers zu kennen; das liegt also noch in weiter Ferne.
Der Artikel wirkt zu sehr auf die Gegenwart fixiert. Stable-Diffusion-artige Systeme waren mit einer bestimmten Technik sehr erfolgreich, aber es wäre töricht zu glauben, dass sich dieser Ansatz unbegrenzt verbessern wird.
Generative „KI“ wird viele Formen annehmen. Am Ende wird sie wahrscheinlich einen großen Teil des handwerklichen Elements aus der Kreativarbeit entfernen und Künstlern sowie Rechteinhabern Einkommen und Relevanz entziehen.
Das wird nicht über Nacht passieren, aber in den nächsten ungefähr zehn Jahren dürfte KI eher ein nützliches Werkzeug als eine Bedrohung sein.
Ich erwarte, dass generative KI irgendwann zu einem multisensorischen System wird, das Sehen, Klang und Tastsinn umfasst. Solche Systeme werden auf Basis physikalischer Modelle von Objekten und Umgebungen sowie mithilfe reichhaltiger Beschreibungen und eines tiefen Kontextverständnisses von Kultur neue und genaue Darstellungen erzeugen.
Sie werden nicht in Pixeln denken, sondern in Objekten und Beziehungen, und diese simulieren, rendern und filtern, um den Wünschen der Nutzer zu entsprechen.
Ich unterstütze die Bemühungen von Autoren und Schauspielern, sich vor Konkurrenz zu schützen, glaube aber, dass sie letztlich vergeblich sein werden. Die rechtliche Entwicklung in diesem Bereich wird interessant werden.
Künftige generative Systeme könnten einen Audit Trail brauchen, der zeigt, wie sie ihr Weltverständnis erlangt haben, um nachzuweisen, dass kein unautorisiertes Training stattgefunden hat. Das legt die Messlatte aber nur etwas höher und verhindert nicht, dass wichtige Beziehungen auf anderem Wege abgeleitet werden, etwa durch Clean-Room-Verfahren mit abstrakten Beschreibungen.
Zum Beispiel könnte es illegal sein, eine KI mit urheberrechtlich geschützten Werken von Harrison Ford oder mit in der Öffentlichkeit aufgenommenen Bildern zu trainieren. Wenn man Harrison Ford aber auf eine Reihe von Eigenschaften reduziert und diese an ein generatives System weitergibt, kann man etwas erzeugen, das vom echten Harrison Ford nicht zu unterscheiden ist. Wenn sich dieses Verfahren dokumentieren lässt, scheint es nicht viele Möglichkeiten zu geben, wie das Rechtssystem das verhindern könnte. Ich bin allerdings kein Experte auf diesem Gebiet.
Nebenbei: Ich mag die heutige „KI“ nicht. LLMs empfinde ich besonders als unzuverlässig und weitgehend nutzlos. Auch KI-generierte Kunst ist meist langweilig, ungenau oder wirkt irgendwie nicht überzeugend. Trotzdem wird die Richtung aus meiner Sicht immer klarer.
Ich verstehe nicht, warum die Ansicht „Kommerzielle Illustratoren werden ihre Jobs behalten, aber um ein höheres Arbeitstempo zu halten, müssen sie größtenteils lernen, KI als Teil ihres Workflows zu nutzen“ als unpopulär gilt. Sie wirkt wie der logische Weg nach vorn.
Es ist ähnlich wie bei CoPilot: Es ersetzt mich nicht, macht aber bestimmte Boilerplate-Arbeiten deutlich weniger schmerzhaft und hilft, die leere Seite oder Schreibblockaden zu vermeiden, wenn ich eine Funktion schreiben will.
Es ist besser, mit etwas anzufangen und es dann in die gewünschte Form zu bringen, als mit gar nichts anzufangen. Selbst wenn man am Ende 80 bis 99 % davon wieder verwirft.
Auch Künstler könnten davon profitieren, ein paar Beispiele dafür zu sehen, wie ihre Lineart aussehen könnte; das kann die Kreativität anregen, und danach können sie weiterarbeiten, wie sie möchten.
Die Illustratoren, mit denen ich am liebsten zusammenarbeiten würde, sind diejenigen, die alle verfügbaren Werkzeuge nutzen, um die bestmöglichen Bilder zu schaffen.
Ich stimme dem größtenteils zu, aber nicht bei dem Teil, bestimmte Bilder zu erzeugen. Das ist eindeutig eine Fähigkeit, die man entwickeln kann.
Ich habe vielen Leuten beigebracht, wie man Prompts für Bildgenerierungs-KI vereinfacht und die passende Sprache wählt. Seltsamerweise packen Menschen oft viel unnötigen Ballast hinein, vermutlich aus einer Art Aberglauben nach dem Motto: „Dieses Satzfragment hat die letzten paar Male gut funktioniert.“
Wie im Artikel beschrieben, ist ein hybrider Ansatz, bei dem dies als Werkzeug in einer Kette mehrerer Tools genutzt wird, der Weg nach vorn.
Es gibt auch Konzepte, die KI überhaupt nicht versteht. Midjourney tut sich derzeit zum Beispiel extrem schwer mit Dingen wie „Bulldozer“, „Zentaur“ oder „Fantasy-Bogenschütze“. Solche Dinge werden zwangsläufig in neuen Modellversionen mit besseren Trainingsdaten behoben werden, und in der Vergangenheit wurden sie auch so behoben.
Die wirklich schwierigen Probleme entstehen bei kleinen Details oder semantischen Informationen. Es ist zum Beispiel schwer, eine realistische/fotografische Szene anzufordern, in der auch der Hintergrund vollständig scharf ist; selbst Keywords wie „focus stacking“ funktionieren nicht gut. „selfie“ war das beste Wort, das wir gefunden haben, hat aber leider starke Nebenwirkungen.
Vielleicht gibt es in den Trainingsdaten nicht genügend Beispiele, die diese Eigenschaft konkret beschreiben, aber ehrlich gesagt ist es schon schwierig, überhaupt das englische Wort zu lernen, mit dem man ein solches Konzept ausdrückt.
Bei kleinen Details wird der derzeitige Ansatz nicht darauf skalieren, Anfragen wie „sechs blaue Würfel, die jeweils ein rotes Dreieck tragen, pyramidenförmig angeordnet, mit einer gelben Kugel, die oben darauf balanciert“ zu verarbeiten. Wie der Autor sagt, wird so etwas aber wahrscheinlich mit einzeln erstellten Assets und minimalen Photoshop-Kenntnissen gelöst werden.
Dieser Punkt wurde bei der Diskussion der technischen Probleme von Prompts völlig ausgelassen.
Das Problem bei Prompts sind nicht die gestapelten Würfel. Wenn man 10 Softwareentwickler, 10 Vertriebler und 3 Führungskräfte bittet, visuelle Ideen für eine Anzeige zu entwickeln, bekommt man miese Bilder auf schwarzem Hintergrund, Roboter, Animation, schlechte Kopien von etwas, das sie irgendwo gesehen und unbewusst im Kopf behalten haben, und 0 visuelle Ideen, die tatsächlich funktionieren.
Designer und Illustratoren müssen solchen Klischees und schlechten Ideen ständig entgegentreten und sie umdrehen, um ein anständiges Produkt zu schaffen.
Bei GPT und Code sehe ich es fast genauso. Ich habe zwar gesehen, dass kluge Menschen, die nicht programmieren, GPT Anfragen geben und etwas Funktionierendes herausbekommen. Aber der Sprung von „Schreib mir etwas, das per Timer automatisch eine Taste drückt“ zu „Aktualisiere das Repository, damit der Client diese Business-Logik und Funktionalität übernimmt“ ist gewaltig.
Aus meiner Sicht muss weiterhin jemand mit Entwicklerdenken die Arbeit machen, und KI macht einem den Prozess nur etwas leichter.
In der Kunst ist es meiner Meinung nach genauso. Es ist leicht, ein plausibles Bild zu bekommen, aber um ein konkretes und aussagekräftiges Bild zu erhalten, braucht es normalerweise viel Nachbearbeitung, die normale Menschen nicht leisten können.
Wir haben bereits sprunghafte Fortschritte gesehen. LLM-basierte Coding-Tools werden besser, LLMs selbst werden besser, und die Kontextfenster werden größer. Das Interesse an LLMs treibt auch die Entwicklung neuer, effektiverer Ansätze an.
In ein paar Jahren wird irgendetwas – ob Lecuns JEPA-Ansatz, irgendein hybrider Supercoder von DeepMind oder ein Open-Source-LLM – GPT-4 beim Programmieren deutlich übertreffen.