NVIDIA stellt das personalisierte Bildgenerierungsmodell „Perfusion“ mit einer Modellgröße von 100 kB vor

NVIDIA hat kürzlich mit „Key_Locked Rank One Editing for Text-to-Image Personalization“, das für die SIGGRAPH 2023 angenommen wurde, das Modell „Perfusion“ vorgestellt, das nach etwa vier Minuten Training bei einer Größe von 100 kB personalisierte Bildgenerierung ermöglicht.

Dabei wird nicht aus reinem Text ein vollständiges Bild erzeugt. Stattdessen gibt man einige Beispielbilder ein, um ein Konzept festzulegen, und wenn man anschließend Text eingibt, der dieses Konzept enthält, wird ein entsprechend angepasstes Bild generiert.

Die auf der Vorstellungsseite und im Paper gezeigten Ergebnisse sind beeindruckend.
Der Code soll bald veröffentlicht werden.

[hhkkkk]

Auf einer A100 dann wohl hoffentlich nicht so etwas wie 4 Minuten, oder..?