Krita AI Diffusion – Generative KI für das Open-Source-Malwerkzeug Krita

• Unterstützt Inpainting und Outpainting direkt im Krita-Workflow
  • Bereich auswählen und auf einen Button klicken, dann werden neue Inhalte erzeugt, die zum Bild passen
  • Die Leinwand erweitern und neue Bereiche mit generierten Inhalten füllen, wodurch das Bild natürlich passend fortgesetzt wird
  • Prompts sind optional und müssen nicht zwingend eingegeben werden
• Ziel ist es, mehr Funktionen zu bieten als Photoshops „Generative Fill/Expand“
• Durch Anpassen der Stärke kann vorhandener Inhalt (img2img) verfeinert oder ein Bild komplett von Grund auf neu erzeugt werden
• Alles läuft lokal, ist Open Source und kostenlos

Funktionsübersicht

• Inpaint: Mit den Auswahlwerkzeugen von Krita Bereiche markieren und vorhandene Inhalte im Bild entfernen oder ersetzen
• Outpaint: Die Leinwand erweitern, leere Bereiche auswählen und sie automatisch mit Inhalten füllen, die sich natürlich in das bestehende Bild einfügen
• Generate: Neue Bilder von Grund auf aus Wörtern oder vorhandenen Bildern erzeugen
• Refine: Einen Stärkeregler für Detailanpassungen verwenden, statt vorhandene Bildinhalte vollständig zu ersetzen
• Control: Die Bildgenerierung direkt mit Skizzen oder Line Art steuern, Tiefen- oder Normal-Maps aus vorhandenen Bildern oder 3D-Szenen verwenden
• Resolutions: Effizient in allen Auflösungen arbeiten, automatisch für das KI-Modell geeignete Auflösungen verwenden und an Bildbereiche anpassen
• Upscaling: Bilder ohne Speicherengpässe auf 4k, 8k oder mehr hochskalieren und anreichern
• Job Queue: Da die Bildgenerierung je nach Hardware Zeit benötigen kann, lassen sich Aufträge in eine Warteschlange einreihen und abbrechen
• History: Nicht jedes Bild wird ein Meisterwerk, deshalb Ergebnisse vorab ansehen und frühere Generierungen sowie Prompts jederzeit durchsuchen
• Strong Defaults: Vielseitige Standard-Style-Presets für eine einfache UI, die viele Szenarien abdecken
• Customization: Eigene Presets erstellen – Stable-Diffusion-Checkpoints auswählen, LoRAs hinzufügen, Sampler anpassen usw.

Erste Schritte

• Das Plugin enthält einen integrierten Installer für ein Stable-Diffusion-Backend
• Voraussetzungen: Windows oder Linux (MacOS ungetestet), unter Linux müssen Python + venv installiert sein
• Hardware-Unterstützung: Für den lokalen Betrieb wird eine leistungsfähige Grafikkarte mit mindestens 6 GB VRAM empfohlen, andernfalls ist die Bildgenerierung sehr langsam
• Installation: Krita installieren, Plugin herunterladen und in den Ordner pykrita entpacken, Plugin in den Krita-Einstellungen aktivieren und neu starten, Plugin-Docker anzeigen, auf „Configure“ klicken, um den Server zu installieren
• GPU-Cloud: Statt lokal auszuführen kann eine GPU gemietet werden; in diesem Fall ist Schritt 5 nicht erforderlich, und das Plugin verbindet sich mit einem Remote-Server
• Optional: ComfyUI-Server anpassen; statt der automatischen Installation ist auch eine manuelle Installation oder die Nutzung einer bestehenden Installation möglich. Wenn der Server vor dem Start von Krita bereits lokal läuft, versucht das Plugin automatisch, sich zu verbinden. Auch ein Remote-Server kann verwendet werden.

Meinung von GN⁺

Das Wichtigste an diesem Artikel ist die Veröffentlichung eines neuen Plugins, mit dem Krita-Nutzer KI-Technologien einsetzen können, um ihren kreativen Prozess zu vereinfachen und zu verbessern. Das Plugin bietet verschiedene Funktionen wie Bildgenerierung, Erweiterung und Detailanpassung und könnte den Workflow digitaler Künstler grundlegend verändern. Dass es Open Source ist und sich anpassen lässt, dürfte besonders für technikinteressierte Softwareeinsteiger spannend sein.

[GN⁺]

Hacker-News-Kommentare

• Die Krita-Community und das Kernteam vertreten eine klar ablehnende Haltung gegenüber künstlicher Intelligenz.

  • Als Mitglied einer Gruppe, die an der Krita-Benutzeroberfläche arbeitet, habe ich aus diesem Grund die Arbeit an einer Krita-Version eingestellt.

• Geteilte Erfahrungen mit der Nutzung eines Systems für interaktives AI-Zeichnen.

  • Das System verwendet eine 4090-GPU, die 20–30 Iterationen pro Sekunde ausführen kann.
  • Bei 8 Iterationen pro Bild sind rechnerisch 4 Bilder pro Sekunde möglich.
  • Nachdem das gewünschte Bild erreicht ist, wird es mit 30–50 Iterationen finalisiert.

• AMD-GPUs werden über DirectML unterstützt, aber nur unter Windows.

  • Es wird Unzufriedenheit über diesen Trend geäußert.
  • Als Alternative kann ein Torch-basiertes Projekt namens ComfyUI als Backend verwendet werden.

• Das Gute an Krita und an Kunst war, dass mit günstigen Werkzeugen und nur mit dem Internet jeder mit Kunst Geld verdienen konnte.

  • Die Sorge ist, dass die Demokratisierung der Kunst stark leidet, wenn teure Grafikkarten zur Voraussetzung werden.

• Wenn man denkt, dass AI in wenigen Jahren alle möglichen Kunstwerke erzeugen wird, wirkt schon der Versuch kreativer Arbeit selbst sinnlos.

  • Selbst wenn man AI gut nutzen lernt, bleibt die Frage, wie lange man als Kreativer noch seinen Lebensunterhalt verdienen kann.
  • Kreativität kann als Hobby Spaß machen, aber als Beruf wird die Monetarisierung schwierig, wenn jeder Kunst erschaffen kann.

• Geteilte Erfahrung einer Person, die kreative Arbeit mit derzeit frei verfügbaren leistungsstarken Computing-Ressourcen betreibt.

  • Trotz wirtschaftlicher Schwierigkeiten werden auch positive Seiten des kreativen Arbeitens mit AI gesehen.

• Geteilte Installationserfahrung unter Ubuntu.

  • Man muss zuerst Krita installieren und starten und danach das Plugin in den gewünschten Ordner kopieren.

• Bewunderung dafür, dass Open-Source-Software Funktionen wie Adobe Photoshop umgesetzt hat.

  • Das bedeutet, dass Photoshop seine aufgebaute exklusive Position bei AI-Generierungstools verlieren könnte.

• Eine leistungsstarke Grafikkarte wird empfohlen, mindestens 6 GB VRAM sind erforderlich.

  • Frage, wie viel länger die Bildgenerierung mit einer Karte mit 4 GB VRAM dauern würde.

• Ein Nutzer drückt Bedauern darüber aus, nicht über die nötige Hardware zu verfügen.

  • Es wird gefragt, ob jemand Stable Diffusion erfolgreich auf dem Steam Deck ausgeführt hat, und um Informationen zu anderen Alternativen gebeten.

• Frage, ob es auch mit mehreren GPUs funktioniert.