- Goku ist eine neue Modellfamilie zur Bild- und Videogenerierung auf Basis des "Rectified Flow Transformer" und zielt auf Leistung auf Spitzenniveau in der Branche ab
- Für hochwertige visuelle Generierung wurden verschiedene Optimierungen angewendet, darunter "Datenselektion, Modelldesign und Flow-Formulierung"
- Hauptmerkmale
- Präzise Bild- und Videogenerierung durch hochwertige Datenselektion
- Verstärkte Interaktion zwischen Bild- und Video-Token mithilfe der Rectified-Flow-Methode
- Hervorragende Leistung bei der Bild- und Videogenerierung
- Unterstützte Generierungsaufgaben
- Text → Video-Generierung
- Bild → Video-Generierung
- Text → Bild-Generierung
- Leistungs-Benchmarks: In wichtigen Benchmarks wurden hohe Ergebnisse erzielt
- 0.76 (GenEval - Text → Bild-Generierung)
- 83.65 (DPG-Bench - Text → Bild-Generierung)
- 84.85 (VBench - Text → Video-Generierung)
- Goku-T2V erreichte im VBench-Leistungsvergleich 84.85 Punkte und belegte damit zum Stand vom 7. Oktober 2024 den 2. Platz
- Übertrifft mehrere kommerzielle Text-zu-Video-Modelle (AnimateDiff-V2, OpenSora, Gen-3, Kling usw.)
2 Kommentare
ByteDance hat in letzter Zeit unglaublich viele einschlägige Fachartikel veröffentlicht … Ich könnte mir gut vorstellen, dass das bald auch bei TikTok zum Einsatz kommt.
Goku+: Video Ads Foundation Models
Die realen Anwendungsbeispiele weiter unten sind hier noch interessanter.
Es erzeugt Marketing-Avatare oder generiert Video-Clips aus Produktbildern.
Darüber werden dann Menschen und Produkte zu einem Ganzen zusammengesetzt, sodass direkt komplette Produktvorstellungsvideos entstehen.
So entstehen ganz mühelos Videos, in denen gegessen wird, Kleidung getragen und herumgelaufen wird oder sogar Make-up aufgetragen und Shampoo benutzt wird.
Ich denke, das sind vermutlich Beispiele, die speziell auf chinesischen Social Commerce zugeschnitten sind.