Die verstorbene Katze mit AI für immer in Erinnerung behalten: Mit Fotos meiner Katze ein „Bildgenerierungsmodell“ trainieren

Einen geliebten Begleiter gehen zu lassen, bringt jedem ein großes Gefühl von Verlust und herzzerreißende Trauer.

Besonders dann, wenn dieser für immer an einen Ort gegangen ist, an dem man ihn nie wiedersehen kann.

Es ist erst ein paar Tage her.

Unser Kater „Eric“ (auch „Eric Go“ genannt), der über zehn Jahre lang ein Mitglied unserer Familie war, ist völlig unerwartet von uns gegangen — auf einen Abschied, auf den wir emotional nicht im Geringsten vorbereitet waren und den wir uns nicht einmal vorstellen konnten.

Für meine Familie und mich, die wir in Trauer versunken waren, wollte ich eine Möglichkeit schaffen, uns an „Eric“ zu erinnern und ein realistisches Gefühl zu erzeugen, dass er weiterhin immer an unserer Seite ist. Mit diesem Gedanken — einen Weg zu finden, wie „Eric“ für immer bei unserer Familie bleiben kann — entschied ich mich, dafür „AI“ zu nutzen.

Als ersten Schritt beschloss ich, dafür Fotos von „Eric“ zu verwenden.

Mein Ziel in diesem ersten Schritt war es, dass jedes Familienmitglied „Eric“ jederzeit wiedersehen kann, wenn es ihn vermisst — in Form von „Fotos und Videos“.

Das heißt: Zuerst lässt man die AI anhand von Fotos aus Erics Lebzeiten lernen.

Wenn man „Eric“ danach sehen möchte, gibt man der AI per Text oder Sprache eine Eingabe. Zum Beispiel: „Zeig mir eine Katze (genau so, wie ‚Eric‘ zu Lebzeiten aussah) an einem Strand auf Hawaii, mit Sonnenbrille und Blumenschmuck, mit glücklichem Gesichtsausdruck, während sie einen Schriftzug mit den Worten ‚Papa, ich liebe dich‘ zeigt.“

Kurz darauf generiert die AI dann ein Bild oder Video von „Eric“ genau in seinem Aussehen zu Lebzeiten und nach meinen Wünschen und zeigt es mir an.

Dafür habe ich einige Abläufe, Vorbereitungen (Entwicklung) und Strategien zusammengestellt.

Zur Einordnung: Da ich über professionelle AI-Entwicklungskompetenz und mehrere NVIDIA-H100-GPUs verfügte, war dies eine durchaus machbare Herausforderung und ein Experiment.

1. Zunächst habe ich etwa 45 Fotos von „Eric“ ausgewählt.

2. Um die Trainingsqualität zu erhöhen, habe ich einen automatisierten Vorverarbeitungsprozess entwickelt und angewendet.

Damit sollten das „Objekt“ klarer und deutlicher dargestellt und zugleich die Effizienz des überwachten Lernens für die AI erhöht werden.

Ein Teil davon bestand darin, aus dem „Originalfoto“ (mit Hintergrund) automatisch nur das „Objekt“ (die Katze) zu isolieren und anschließend Vorverarbeitung wie Scale-up vorzunehmen.

3. Die 45 Fotos, deren Vorverarbeitung abgeschlossen war, wurden dann mit der LoRA-Methode trainiert.

Das Training erfolgte auf Basis der Default-Einstellungen und dauerte auf einer A100-GPU etwa 2 Stunden.

4. Das Training wurde durchgeführt, und nach dessen Abschluss wurde auf „Hugging Face“ ein eigenes „Modell“ für „Eric“ registriert.

5. Nun bereitete ich die Verbindung des trainierten Modells mit dem FLUX-Modell vor, um Bilder in bestmöglicher Qualität zu generieren.

Ich programmierte das Basis-FLUX-Modell so, dass koreanische Prompts eingegeben werden konnten, und konnte anschließend die Trainingsergebnisse überprüfen.

Es sah erstaunlich genau so aus wie zu Lebzeiten.

Die ganze Familie war von diesem Ergebnis beeindruckt, fand es faszinierend und freute sich sehr darüber, was mich wiederum sehr stolz machte.

Ich hoffe außerdem, dass die Veröffentlichung dieser Aufzeichnung des Prozesses jemandem hilfreich sein kann.

Falls jemand auf diese Weise seine eigene Katze oder seinen Hund verewigen möchte, kann er mir jederzeit eine Nachricht schicken — ich helfe gern.

[arxivgpt]

Weitere Details und Bilder habe ich auf Brunch hochgeladen.
Hinweis: https://brunch.co.kr/@seawolf/16