Kostenloser Open-Source-KI-Bild-Upscaler „Upscayl“

 (github.com/upscayl)
6 Punkte von GN⁺ 2024-04-02 | 1 Kommentare | Auf WhatsApp teilen
  • Upscayl ist ein kostenloser Open-Source-Bild-Upscaler mit KI, der niedrig aufgelöste Bilder mit fortschrittlichen KI-Algorithmen vergrößert und verbessert, und bietet das neueste Release v2.15
  • Die Beschreibung von Bilddetails wird verbessert, indem das KI-Modell mögliche Details schätzt; verwendet werden Real-ESRGAN und die Vulkan-Architektur
  • Für die Ausführung ist eine Vulkan-kompatible GPU erforderlich, und auf den meisten integrierten GPUs (iGPU) oder CPUs funktioniert es möglicherweise nicht
  • Unterstützt Linux, macOS 12 oder höher sowie Windows 10 oder höher; für Linux werden mehrere Distributionswege wie Flatpak, AppImage, AUR, Snap, RPM, DEB und ZIP angeboten
  • Es ist kein Werkzeug zur Wiederherstellung verschwommener oder unscharfer Bilder; als Eingabe sollten für niedrig aufgelöste oder pixelige Bilder geeignete Bilder verwendet werden

Was Upscayl macht

  • Upscayl ist ein kostenloser Open-Source-KI-Bild-Upscaler, der niedrig aufgelöste Bilder vergrößert und verbessert
  • Ziel ist es, Bilder ohne Qualitätsverlust zu vergrößern; die offizielle Website ist upscayl.org
  • Als aktuelles Release wird v2.15 angegeben

Funktionsweise und Kerntechnologien

  • Upscayl verbessert Bilder, indem ein KI-Modell die Details im Bild schätzt
  • Intern werden Real-ESRGAN und die Vulkan-Architektur verwendet
  • Das Backend ist upscayl-ncnn, ein vollständig Open-Source-Backend unter der AGPLv3-Lizenz
  • Ein CLI-Tool wird ebenfalls unter dem Namen upscayl-ncnn bereitgestellt

Installation und unterstützte Plattformen

  • Upscayl benötigt für das Bild-Upscaling eine Vulkan-kompatible GPU
    • Viele integrierte GPUs funktionieren möglicherweise nicht
    • Im README wird darauf hingewiesen, dass ein Versuch an sich unproblematisch ist
  • Unter Linux sollte es in den Softwarelisten der meisten Distributionen verfügbar sein
    • Die Store-App der Distribution unterstützt möglicherweise die Flatpak- oder Snap-Version
    • Für die portable Variante lädt man aus dem Release-Bereich oder von der offiziellen Website upscayl-x.x.x-linux.AppImage herunter, erteilt Ausführungsrechte und startet die Datei
    • Auch RPM-, DEB- und ZIP-Formate stehen zur Auswahl
  • macOS richtet sich an macOS 12 oder höher
    • Ein Link zum Mac App Store ist vorhanden
    • Man kann die DMG-Datei herunterladen, in den Ordner „Applications“ verschieben und dann im Finder öffnen
    • Der Homebrew-Installationsbefehl lautet brew install --cask upscayl
  • Windows richtet sich an Windows 10 oder höher
    • upscayl-x.x.x-win.exe herunterladen und ausführen
    • Wenn eine SmartScreen-Warnung erscheint, soll nach More Info Run Anyway gewählt werden, oder im Dialog für einen nicht verifizierten Herausgeber YES

Dokumentation, Modelle und Ergebnisprüfung

Einschränkungen und Nutzungshinweise

  • Upscayl kann niedrig aufgelöste und pixelige Bilder verbessern
  • Deblur- oder Fokuskorrektur-Funktionen werden nicht angeboten
    • Für unscharfe oder vollständig verschwommene Bilder ist es nicht geeignet
    • Im README wird empfohlen, Bilder zu verwenden, die den bereitgestellten Beispielen ähneln
  • Die GPU-ID ist eine Einstellung zur Auswahl der zu verwendenden GPU
    • Das genaue Vorgehen steht im Wiki Guide
    • Wenn Upscayl unter Windows nicht auf Leistungsmodus gesetzt ist, kann das System diese Einstellung überschreiben
  • Wenn Batch Upscayl zwischendurch angehalten wurde und Bilder nicht verarbeitet wurden oder Komprimierung bzw. Skalierung nicht stimmen, unterstützt das Modell möglicherweise bestimmte Aufgaben nicht
    • In diesem Fall führt Upscayl zunächst das Upscaling aller Bilder aus und nimmt die Nachbearbeitung erst danach vor; daher sollte man warten, bis der Prozess abgeschlossen ist

Entwicklung und Build

  • Für die Installation von Node.js in der Entwicklungsumgebung wird Volta empfohlen
    • Nach der Installation von Volta volta install node ausführen
  • Der lokale Ausführungsablauf besteht aus Repository klonen, Abhängigkeiten installieren und Entwicklungsserver starten
  • Wenn Git nicht installiert werden soll, kann die source zip heruntergeladen, in den Ordner upscayl entpackt und anschließend der restliche Ablauf ausgeführt werden
  • Das Paketieren der App erfolgt mit npm run dist
  • Der Befehl zum Veröffentlichen der App lautet npm run publish-app; nur Maintainer sollen ihn nach dem Hinzufügen von GH_TOKEN= in der Shell ausführen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-04-02
Hacker-News-Kommentare

  • Falls ihr wie ich Real-ESRGAN-ncnn-vulkan [1] verwendet und euch fragt, was upscayl-ncnn CLI [2] geändert hat: Es scheint keinen großen Unterschied zu geben, und auch praktisch nicht viele wesentliche Änderungen [3].
    Das ist nicht als Kritik gemeint, ich wollte nur wissen, ob sich ein Wechsel auf das CLI-Tool lohnt. $subj ist eine separate GUI-App, die darauf basiert.
    [1] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan
    [2] https://github.com/upscayl/upscayl-ncnn
    [3] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan/compare/m...

    • Upscayl NCNN enthält verschiedene Anpassungen wie aktuelle Vulkan-Unterstützung, Bugfixes und neue Funktionen, und bald kommt noch mehr dazu. Die Änderungen wurden nur noch nicht gepusht, und CPU-Unterstützung ist ebenfalls in Arbeit.
      Wenn man Real-ESRGAN nutzen will, muss man mit einer seit Langem nicht aktualisierten Codebasis und diversen Problemen leben. Soweit ich weiß, ist Upscayl NCNN derzeit das einzige Projekt, das Real-ESRGAN NCNN noch pflegt.
    • Wegen genau dieser Frage bin ich in die Kommentare gekommen. Ich nutze RealESRGAN seit Jahren und habe damit sogar einige Bilder hochskaliert und bei mir zu Hause aufgehängt.
      Ich habe viele alte Fotos aus dem Familienalbum hochskaliert, dann mit Tools wie Photoroom und Snapseed Mängel korrigiert und sie anschließend drucken lassen — das funktioniert wirklich gut.
      Wenn ich irgendwo im Netz ein altes Foto in niedriger Auflösung finde, für das ich selbst mit Google, DuckDuckGo oder Kagi kein hochauflösendes Original auftreiben kann, skaliere ich es mit RealESRGAN hoch und nutze es zum Beispiel als Hintergrundbild oder Präsentationshintergrund.
    • Wenn Leute GUIs bevorzugen, ist daran nichts falsch.

  • Jedes Mal, wenn ich in Serien oder Filmen eine Szene sehe, in der ein Bild einfach „enhanced“ wird, muss ich sehr lachen: https://youtu.be/LhF_56SxrGk
    Es wirkt, als sei die Science-Fiction von gestern jetzt Realität geworden.

    • Allein der Gedanke daran lässt mich inzwischen zusammenzucken. Wenn Filmschaffende „enhance!“ gerufen haben, dachten ich und viele andere Nerds immer: „Das kann doch gar nicht funktionieren, da sind ja keine zusätzlichen Pixel!“
      Und jetzt gibt es das. „Enhance“ ist tatsächlich möglich geworden.
    • Jetzt werden Details eben einfach halluziniert.
    • Lustig ist, dass der Satz „Science-Fiction von gestern ist heute Realität“ tatsächlich auch auf https://upscayl.org als „From Science Fiction to Reality“ steht.
    • Der korrekte Ausdruck wäre eigentlich „Hallucinate!“ gewesen.
    • Wenn man allerdings versucht, das Nummernschild des Fahrzeugs eines Verdächtigen zu vergrößern, bekommt man womöglich eine Nummer auf Basis durchschnittlichen Rauschens — und nicht die echte.

  • Ich habe es im Dezember ausprobiert und fand es ziemlich intuitiv. Für Leute, die zum ersten Mal verschiedene Tools erkunden wollen, kann man es durchaus empfehlen.
    Nach meinem Verständnis liegt die Qualität allerdings noch ein gutes Stück hinter dem Stand der Technik. Ein Freund hat mir kürzlich Topaz empfohlen, aber das ist nicht Open Source.

    • Die Qualität ist in manchen Bereichen tatsächlich ähnlich. Upscayl ist allerdings ein freies Projekt und hat noch kein eigenes Modell, daher stützt es sich auf Community-Modelle. Die sind ihrerseits ebenfalls ziemlich gut.
      Wenn genug Finanzierung zusammenkommt, ist geplant, selbst ein robustes Modell zu entwickeln :)
      https://ckovalev.com/midjourney-ai/guide/upscaling-ai-art-fo...
    • Im Extras-Tab von a1111 habe ich die besten Ergebnisse erzielt. Man muss natürlich wissen, was die einzelnen Optionen bedeuten, und die Oberfläche ist definitiv deutlich komplexer.

  • UpScayl ist großartig und ich nutze es oft beruflich. Wenn es schnell gehen muss, vergrößere ich damit niedrig aufgelöste Grafiken oder Illustrationen für Designarbeit, skaliere Porträts für Druck und Photoshop-Arbeiten hoch oder mache alte Kopien für die Bearbeitung größer.
    Es ist nicht perfekt, aber die Alternativen sind es auch nicht. Trotzdem ist es extrem nützlich.

    • Freut mich, dass es dir gefällt. Wir machen es immer besser, und mit Upscayl Cloud werden sich gerade für Profis die Möglichkeiten enorm erweitern. Natürlich in einem vernünftigen Rahmen :)

  • upscayl ist leicht zugänglich, aber mir haben viele der Funktionen gefehlt, die ich brauchte. Nachdem Hochskalierung Teil meines regulären Workflows geworden war, bin ich zu https://github.com/AUTOMATIC1111/stable-diffusion-webui gewechselt. Für Leute, die nur ein paar Bilder verbessern wollen, ist es aber ein ideales Tool.

  • Im Vergleich zu den Fortschritten in anderen Bereichen wirken die aktuellen Upscaler immer noch überraschend hinter den Erwartungen zurück.

  • Gibt es ein Modell, das nicht nur hochskaliert, sondern auch Bilder bereinigt? Ich habe viele alte Fotos, die mit frühen Digitalkameras mit niedriger Auflösung aufgenommen wurden und Dinge wie JPEG-Artefakte haben.
    Ich hätte gedacht, dass sich moderne Modelle für solche Probleme leicht feinabstimmen lassen, aber obwohl ich alle paar Monate danach suche, habe ich noch nichts gefunden.

  • Leider habe ich im Videobereich noch nichts gesehen, das qualitativ an die kostenpflichtigen Tools von Topaz Labs herankommt. Bei anderen Implementierungen scheinen Schärfe und Konsistenz immer das Problem zu sein.
    Ich würde mich freuen, wenn mir jemand das Gegenteil beweist. Ich habe ein Projekt, das stillsteht, weil Qualität und Auflösung des Ausgangsmaterials zu niedrig sind.

  • Und in dem Zusammenhang: Welche App wäre das Gegenstück dazu für das Entfernen von Wasserzeichen?