Easy Stable Diffusion XL, offline auf dem Gerät nutzbar

 (noiselith.com)
2 Punkte von GN⁺ 2023-12-03 | 1 Kommentare | Auf WhatsApp teilen

Einführung in die Noiselith-App

  • Tool zur Offline-Bilderzeugung: Noiselith ermöglicht es, frei Bilder direkt auf dem Gerät zu erzeugen – ganz ohne Cloud.
  • Datenschutz: Sämtliche Generierungsvorgänge finden lokal statt, und es werden keine Informationen an die Cloud übertragen.
  • Unbegrenzte Generierung: Bietet eine unbegrenzte Generierungsfunktion, mit der sich pro Tag 100, 200 oder sogar 1000 Bilder erzeugen lassen.
  • Geschwindigkeit: Bilder können sofort auf dem Gerät erzeugt werden, ohne auf Serverressourcen warten zu müssen.

Systemanforderungen

  • Windows: Windows 10 oder 11, NVIDIA-RTX-20-Serie oder neuere GPU (mindestens 8 GB VRAM), mindestens 16 GB RAM und mindestens 20 GB Speicherplatz erforderlich.
  • macOS: macOS 12.3 oder neuer, Apple Silicon, mindestens 32 GB RAM und mindestens 20 GB Speicherplatz erforderlich.

Nutzererfahrung

  • Einfache Installation: Mit nur wenigen Klicks ist Noiselith einsatzbereit.
  • Intuitive Nutzung: Bietet eine intuitive Oberfläche, mit der sich Ideen visuell umsetzen lassen, ohne sich um technische Details kümmern zu müssen.
  • Modellverwaltung: Modelle lassen sich einfach herunterladen, löschen und aktualisieren; außerdem gibt es eine Galerie, die erzeugte Bilder elegant organisiert.

Entwicklungs-Roadmap

  • Unterstützung für verschiedene Funktionen: Geplant sind Unterstützung für SDXL-Modelle, SDXL LoRA, Verlaufsverwaltung, Projektverwaltung und Modellverwaltung.
  • Community und Erweiterbarkeit: Enthält Funktionen wie eine Nutzer-Community, Unterstützung für SD-1.5- und 2.1-Modelle, eine Modelldatenbank, Upscaler und Smart Prompts.
  • Noiselith App Store: Geplant ist die Entwicklung eines App Stores mit Cloud-GPU- und Remote-Collaboration-Funktionen.

Meinung von GN⁺

  • Das Wichtigste an diesem Artikel ist, dass die Noiselith-App ein neues Tool ist, mit dem Nutzer unbegrenzt Bilder direkt auf ihrem Gerät erzeugen können – ohne Hilfe der Cloud und unter Wahrung der Privatsphäre.
  • Die App ist interessant, weil sie die Komplexität bei Installation und Nutzung von Software reduziert und mit ihrer intuitiven Oberfläche dafür sorgt, dass jeder leicht mit der Bilderzeugung beginnen und sich stärker auf kreative Arbeit konzentrieren kann.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-12-03
Hacker-News-Meinungen

  • Habe es gerade installiert und es ist ziemlich cool. Lokale KI ist die Zukunft, die ich mir wünsche, und daran arbeite ich auch
    Die Vorteile: Es funktioniert ziemlich eigenständig, der eingebaute Modell-Installer ist gut gemacht, sodass man leicht beliebige Modelle von CivitAI herunterladen kann (habe https://civitai.com/models/183354/sdxl-ms-paint-portraits installiert), die Qualität der Bildgenerierung ist hoch und stabil, und es zeigt Zwischenschritte der Generierung an
    Der Nachteil ist, dass es eine 6,94-GB-SDXL-Modelldatei irgendwohin herunterlädt, ohne zu fragen und ohne Speicherort oder Größe anzuzeigen; später habe ich aber herausgefunden, dass man den Ort in den Einstellungen finden und ändern kann. Die erste Generierung ist wegen des Ladens des Modells sehr langsam, und die Generierungszeit wird zwar nicht protokolliert, scheint auf einem M1 Max MacBook mit 64 GB aber ein paar Minuten zu dauern
    Es gibt mehrere Feedback-Module, daher ist der Chat unten links sehr störend und ich werde ihn wohl nie nutzen; oben rechts gibt es außerdem eine Beta-Feedback-Anfrage. Im Gegensatz zu Konkurrenzprodukten ist es nicht Open Source, es laufen 7 Prozesse, und im Idle-Zustand nutzt es etwa 1 GB RAM. Es hat keine native macOS-UX und wirkt wie eine Electron-App, weil erwartete Shortcuts oder ein Hilfemenü fehlen. Insgesamt 4/5 Punkten, und ich würde es wieder öffnen

    • Unter macOS lohnt sich auch ein Blick auf Draw Things. SDXL läuft selbst auf macOS-Geräten mit 8 GiB ausreichend gut
    • Falls dich der Tech-Stack interessiert, hier steht er: https://noiselith.notion.site/License-61290d5ed7ab4c918402fd2510533a9b
      Also ja. Es ist eine Electron-App und nutzt Svelte, headless-ui, tailwindcss usw.
    • Es sollte nach dem Download-Ort fragen
    • Ein weiterer Nachteil ist, dass es nur auf Apple-Silicon-Macs läuft
    • Mich würde interessieren, ob diese 1 GB Idle-Speicher pro Prozess gemeint sind oder die Summe aller 7 Prozesse

  • Es gibt bereits ziemlich viele lokale Inferenzoptionen, und wichtig ist, dass sie Open Source sind und auch robustere Funktionen haben
    Selbst wenn man hier mit „Aber Auto1111 oder Comfy haben doch keine benutzerfreundliche UI“ verteidigt: Auch das ist bereits gelöst: https://github.com/invoke-ai/InvokeAI

    • Ich bin zu InvokeAI gewechselt und glaube nicht, dass ich zur normalen a1111 webui zurückkehren werde. Mir gefällt das gesamte Layout, es gibt Workflow-Funktionen, und man kann alle Eigenschaften wie Prompt, Modell und LoRA, die zur Erstellung eines Bildes verwendet wurden, einfach wieder laden
      Man kann es auch in Boards organisieren, und Boards, Bilder und Metadaten werden alle in einer gut designten SQLite-Datenbank gespeichert, auf die man mit DataGrip zugreifen kann
    • Es gibt auch die Möglichkeit, Krita mit einem Diffusion-AI-Plugin zu nutzen: https://github.com/Acly/krita-ai-diffusion
    • Der Werbespruch „Stable Diffusion lokal ausführen“ ist etwas seltsam. Ehrlich gesagt ist das nämlich schon jetzt leicht machbar
    • Ich weiß nicht, ob die UI benutzerfreundlich ist, aber allein der Installationsprozess von InvokeAI ist für 99,9 % der Welt bereits eine Hürde. Das heißt nicht, dass Noiselith nicht Open Source werden kann, aber es bietet eindeutig etwas anderes als InvokeAI

  • Allen, die es noch nicht ausprobiert haben, empfehle ich Fooocus nachdrücklich: https://github.com/lllyasviel/Fooocus
    Es gibt unglaublich viele lokale Stable-Diffusion-Pipelines, aber hier ist die Standard-Ausgabequalität schon mit kurzen Prompts überwältigend gut. Wirklich beeindruckend
    Der Grund ist, dass es viele SDXL-Erweiterungsfunktionen integriert, die andere UIs nicht implementieren oder nicht standardmäßig aktivieren. Ich nutze Stable Diffusion seit 1.5 und verfolge diesen Bereich ziemlich aufmerksam, aber eine gleichwertige Pipeline in ComfyUI oder gar in diffusers einzurichten, wäre wohl eine Qual. Es fühlt sich an wie eine „Sammlung der Hits und optimalen Defaults“ für SDXL

    • Ich hatte Angst vor dem Python-Setup, obwohl ich Python-Entwickler bin. Aber am Ende erstellt man nur eine virtuelle Umgebung und installiert die Abhängigkeiten. Wirklich großartig, und die generierten Bilder sind sofort schön
      Allerdings sieht es, wie im Nebenkommentar erwähnt, nicht gut aus, dass GTM eingebunden ist
      Beispiele:
      https://imgz.org/i9oicVqo/
      https://imgz.org/i8Ur3WjW/
      https://imgz.org/i5j6r6TZ/
    • Die selbst gehostete Installationsversion der Web-UI von Fooocus scheint die Nutzer an Google Tag Manager zu verkaufen
      Ich wünschte, unsere ganze Branche würde erkennen, dass es eine schlechte Entscheidung ist, solche Überwachung laufen zu lassen, und einfach damit aufhören
    • Auf dem Mac muss man es selbst bauen, und wir alle wissen, wie „angenehm“ das Bauen von Python-Projekten ist
    • Wenn du die besten lokalen Generierungsergebnisse willst, ist Fooocus deutlich besser. Lvmin steckt seine ganze Energie in die Erstellung schöner Bilder. Dass es unter der GPL-Lizenz steht, ist für mich ebenfalls ein Pluspunkt
    • Ich frage mich, ob es auch auf einem reinen CPU-System mit sehr viel RAM brauchbar ist

  • Interessant. Ich werde es mit https://diffusionbee.com vergleichen, das ich in den letzten Monaten zum Spaß genutzt habe

    • Ich habe beide ausprobiert, und Noiselith liefert deutlich, deutlich bessere Ergebnisse

  • Fürs Marketing mag das gut sein, aber es ist seltsam, On-Device-Ausführung und Offline-Nutzung als Hauptunterscheidungsmerkmal herauszustellen. Denn die meisten nutzen Stable Diffusion vermutlich ohnehin schon so.
    Besser wäre es wohl, sich stärker darauf zu konzentrieren, dass Installation und Nutzung einfach sind. Genau das klappt bisher noch nicht gut. Nach meinen Maßstäben nutze ich es nicht ohne ControlNet, Upscaling, Face-Detailer-ähnliche Funktionen und möglichst regionales Prompting.
    Außerdem denke ich, dass Leute, die einen eigenen SD-Generator bauen wollen, besser zu einem der bereits existierenden Open-Source-Projekte beitragen sollten.
    Ein App Store könnte eine gute Idee sein, aber in einer Welt mit Auto1111 und seinen unzähligen Erweiterungen wird das in der Stable-Diffusion-Community wohl nicht besonders gut ankommen.

    • Der Punkt ist „fürs Marketing gut“. Genau das sollte man weiter ausbauen. Gerade die Stelle, die seltsam wirkt, zeigt, wer die Zielgruppe dieses Produkts ist: nicht Leute, die SD bereits nutzen, sondern Leute, die von reinen Online-Diensten wie Dall-E wegbewegt werden sollen.
    • Ich vermute, es gibt ziemlich viele Leute, die so etwas wie A1111 nicht nutzen. Wegen dieses komplizierten Installationsmodells: Man lädt das herunter, dann lädt es jenes herunter, dann lädt jenes wieder etwas anderes herunter, und danach muss man diese und jene Datei noch manuell holen.
      Auch wenn es für bestehende Nutzer nicht attraktiv ist, kann ein einfacheres Produkt für neue Nutzer durchaus ansprechend sein.
    • Mir ist aufgefallen, dass es erstaunlich viele Cloud-Wrapper für Stable Diffusion gibt. Deshalb gefällt mir, dass On-Device/Offline gleich vorne klar gesagt wird.
      Als ich SD zum ersten Mal ausprobiert habe, fand ich es seltsam, wie viele Pakete statt einfach ein paar Dateien herunterzuladen und auszuführen stark nach Hause telefonierten oder VMs verwendeten.
    • Ich habe SD lokal auf dem Gerät ausprobiert, fand es aber lohnend, für eine gehostete Version zu bezahlen. Sie ist nämlich deutlich schneller.

  • Der Verkaufs-Prompt lautet: „eine junge Frau mit blondem Lockenhaar, die vor einer Fantasy-Welt-Kulisse mit verführerischem Blick sitzt, die Beine gespreizt, in weißem Hemd und Jeans-Hotpants“
    Da fragt man sich wirklich, ob das so sein muss.

    • Wenn der Prompt nicht in gewissem Maße sexualisiert, kontrovers oder unangenehm gewesen wäre, hätte er sich direkt dem Chor „ist trotzdem schlechter als midjourney/dall-e/imagen“ ausgesetzt. Freiheit von Beschränkungen ist einer der wichtigsten Verkaufsargumente.
    • Ich frage mich ernsthaft, wie viele Menschen in der Open-Source-Community Schweiß und Blut in solche Projekte stecken. Obwohl das am Ende dazu führt, dass Männer ihr MacBook in ein Instagram-Porno-Book verwandeln können.
    • Gut zu wissen, dass nicht nur ich das unangebracht fand. Es wirkt ziemlich wie eine Hundepfeife.
    • Das ist wirklich gruselig.

  • Nach der Installation musste ich der App auf einem Windows-Rechner Zugriff auf öffentliche und private Netzwerke geben, damit sie lief. Bei der Behauptung „offline“ fand ich das schon etwas fragwürdig.

    • Ich hatte etwas Ähnliches.
      Beim ersten Start wurden etwa 30 GB Daten heruntergeladen. Ob es bei späteren Starts offline funktioniert, weiß ich nicht. In meinem Fall ist es danach ständig abgestürzt und ließ sich nicht mehr starten.
      Beim Deinstallieren ließ es außerdem alle Daten zurück. Nicht nur Nutzerdaten, sondern die ausführbaren Dateien selbst, die Python-virtuelle Umgebung, den Updater und alle Modelle. Die Deinstallation hat im Grunde nur die Verknüpfung im Startmenü entfernt.
    • Mich würde interessieren, ob es auch dann weiterlief, wenn man das Internet komplett trennt.
      Wenn zum Ausführen eine aktive Internetverbindung nötig ist, ist es völlig falsch, mit „offline“ zu werben.

  • Es ist auf jeden Fall erfreulich, dass mehr lokale Clients erscheinen. Wie in anderen Kommentaren erwähnt, gibt es schon einige sehr gute. Ich habe automatic1111 ausprobiert; es ist schnell und braucht nicht viel Tuning, hat aber immer noch viele Regler und Optionen und wirkt anfangs schwierig. Fooocus ist sehr schnell, bietet aber natürlich weniger Anpassungsmöglichkeiten.
    Und dann gibt es ComfyUI. So etwas wie der heilige Gral der Komplexität, aber gerade dank dieser Komplexität kann man unglaublich viel damit machen. Es ist eine nodebasierte App, mit der man eigene Workflows erstellen kann; nachdem ein Bild erzeugt wurde, kann man diesen „Node“ an andere Stellen weiterreichen, etwa für Upscaling als Nachbearbeitung.
    Ich bin gespannt, ob Noiselith oder andere Tools SDXLTurbo unterstützen werden. Es ist erst seit ein paar Tagen draußen, aber meiner Meinung nach ist es ein echter Gamechanger. Auf einer Consumer-GPU kann es in etwa 0,5 Sekunden ein 512x512-Bild erzeugen. Die Qualität ist nicht überwältigend, aber die Möglichkeit, „Fuchs im Wald“ einzugeben, es sofort zu sehen, dann „mit Hut“ hinzuzufügen und wieder sofort ein neues Ergebnis zu bekommen, ist sehr wertvoll. Früher wartete man 12 Sekunden pro Bild. Das klingt vielleicht nach keiner großen Sache, aber so schnell iterieren zu können macht lokale Bilderzeugung deutlich unterhaltsamer.

  • Ich konnte es noch nicht testen, aber da Comfy CoreML nutzt, frage ich mich, ob mit nützlicheren Frontends auch mehr Backend-Optimierung und Performance-Arbeit für solche Plattformen entstehen wird.
    1–4 it/s bei 512er-Bildern ist viel zu enttäuschend, und 2–3 s/it bei 1024 ist nach heutigen Maßstäben ebenfalls viel zu langsam. Schade ist auch, dass selbst die ANE auf einem MacBook Pro M3 keine SD-Bilder mit 1024x1024 schafft.