Lightricks LTX-2 - das erste Open-Source-Modell zur integrierten Audio- und Video-Generierung

📝 TL;DR

• LTX-2 = neuer Maßstab für Open-Source-multimodale Videogenerierungsmodelle
• Echtzeitgenerierung von 4K + Audio auf Consumer-Hardware
• Vollständige Veröffentlichung von Modellgewichten + Code + Benchmarks Ende November
• Entwickelt von Lightricks, arXiv-Paper veröffentlicht

🔑 Key Highlights

• Erstes Open-Source-Modell zur synchronisierten Audio-Video-Generierung

  • Sora 2 und Movie Gen sind kommerziell/geschlossen, LTX-2 wird Ende November vollständig als Open Source veröffentlicht
  • 4K bei 50 fps, bis zu 10 Sekunden Video + synchronisierter Audio-Generierung

• Generierung schneller als in Echtzeit

  • H100: Auflösung 768x512, erzeugt ein 5-Sekunden-Video mit 24 fps in nur 2 Sekunden
  • 50 % geringere Rechenkosten im Vergleich zu bestehenden Modellen
  • Läuft auch auf Consumer-GPUs wie der RTX 4090

• Innovation der hybriden DiT-Architektur

  • Video-VAE: Kompressionsrate 1:192 (32x32x8-Downscaling)
  • Der VAE-Decoder übernimmt auch das finale Denoising → feine Details bleiben ohne separates Upsampling erhalten
  • Echtzeitleistung durch Multi-GPU-Inferenz-Stack

• Präzise kreative Kontrolle

  • Multi-Keyframe-Conditioning, 3D-Kameralogik
  • LoRA-Finetuning zur Wahrung von Markenstil/IP-Konsistenz
  • Drei Modi Fast/Pro/Ultra zur Steuerung von Geschwindigkeit und Qualität

• Sofort nutzbares Ökosystem

  • Integration mit Fal.ai, Replicate und ComfyUI bereits abgeschlossen
  • Im API Playground testbar
  • Unterstützt direkte Integration in Editing-Tools, VFX-Stacks und Game-Engines