Anime-QR-Codes mit Stable Diffusion erstellen

• Ein Reddit-Nutzer namens nhciao hat mithilfe von ControlNet + LoRA tatsächlich funktionierende QR-Codes im Anime-Stil erzeugt
• Möglich ist das durch die Error-Correction-Funktion, die QR-Codes von Haus aus besitzen
• Lässt sich auf vielfältige Weise einsetzen, etwa mit traditionellen chinesischen Mustern, Ukiyo-e, 2D-Animation, Tuschemalerei, Aquarell, 3D, abstrakten Stilen, PCB usw.
• Details finden sich im Originalbeitrag, der auf Chinesisch verfasst ist

[yinn27]

Wirklich beeindruckend, die Idee …

[qkreoaksn]

Meine Güte.....

[popup]

Die QR-Erkennung funktioniert tatsächlich, wenn man es ausprobiert. Ziemlich erstaunlich.

[kuroneko]

Ich kann zwar nachvollziehen, dass es theoretisch möglich ist, aber dass sich das tatsächlich scannen lässt, will mir einfach überhaupt nicht einleuchten. Wirklich faszinierend.

[xguru]

Chinesischer Blogbeitrag: https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw

[kuroneko]

Wenn man den Originalartikel in einen Zusammenfasser steckt, kommt etwa Folgendes heraus.

• Dieser Artikel behandelt ein neues ControlNet-Modell, das scanbare QR-Code-Bilder erzeugen kann. ControlNet kann Informationen in Bildern kodieren, die für das menschliche Auge normal aussehen.
• Der Autor und seine Kommilitonen hatten zuvor einen parametrisierten QR-Code-Generator entwickelt, diesen aber nicht weiter aktualisiert. Die aktuelle Idee kam ihnen nach der Veröffentlichung von Stable Diffusion.
• Ein früher ControlNet-Versuch bestand darin, chinesische traditionelle Muster zu trainieren. Der Autor erwähnt, dass er dafür die AIGC All in One-Dokumentation und HuggingFace JAX/Diffusers verwendet hat.
• Für das Training von ControlNet werden große Datenmengen und viel Rechenleistung benötigt. In der Forschung wurden bis zu 300.000 Bilder und 600 A100-GPU-Stunden verwendet. Der Autor trainierte eine Version mit 100.000 Bildern bei hoher Lernrate.
• Nach dem Training testete der Autor verschiedene Kombinationen aus Checkpoint + LoRA + QR Code ControlNet, um scanbare QR-Codes in unterschiedlichen Stilen zu erzeugen, etwa chinesische traditionelle Muster, Ukiyo-e, 2D, Tusche, Perspektive, abstrakt und PCB-Stil.
• Die erzeugten QR-Codes umfassen chinesische traditionelle Muster, Ukiyo-e-Stil, Anime, Illustration, Tusche, Aquarell, 3D und abstrakte Stile.
• Das Projekt war auf die Zusammenarbeit mit einigen Kommilitonen und auf die GPU-Ressourcen des Labors angewiesen. Auch Google-TPU-Server halfen dabei, die Trainingsgeschwindigkeit zu erhöhen.
• Der Autor plant, das Modell und die technische Dokumentation künftig über den offiziellen WeChat-Account und die Website zu veröffentlichen.
• Der Artikel erwähnt, dass sich KI-Generierungsmodelle rasant weiterentwickeln, und drückt den Wunsch aus, noch einmal an die Universität zurückzukehren.
• Der Autor bedankt sich bei Google und HuggingFace für die Bereitstellung der TPU-Server und sagt, dass man damit „eine tolle Zeit haben“ konnte.

[lunamoth]

Könnten Sie mir vielleicht sagen, welchen Dienst Sie für den Zusammenfasser verwendet haben?

[kuroneko]

Ich nutze den Universal Summarizer von Kagi.

[lunamoth]

Danke für den Hinweis.