Show HN: Echtzeit-KI-Video-Agent mit unter 1 Sekunde Latenz
(news.ycombinator.com)- Tavus konzentriert sich darauf, die Antwortlatenz auf unter eine Sekunde zu senken, um ein KI-Video-Interface zu schaffen, das sich natürlich mit Menschen unterhält
- In schnellen Gesprächen liegen zwischen Redebeiträgen nur etwa 250 ms; deshalb brauchen Video-Agenten sowohl geringe Latenz als auch Bewusstsein für den Gesprächskontext
- Das frühe Phoenix-1 benötigte pro Gespräch eine H100, was Kosten und Skalierbarkeit einschränkte; Phoenix-2 setzt durch den Wechsel zu Gaussian Splatting das Ziel, auf schwächerer Hardware mehr als 70 fps zu erzeugen
- In der gesamten Pipeline wurden Vision, ASR, LLM, TTS und Videoerzeugung beschleunigt; beim LLM war nicht die Tokenrate pro Sekunde, sondern die Zeit bis zum ersten Token der spürbare Engpass
- Wenn man das Ende eines Redebeitrags nur anhand von Stille erkennt, entstehen Unterbrechungen und Antwortverzögerungen; durch End-of-Turn-Erkennung und Eingabevorhersage wurde die Latenz von 3–5 Sekunden auf unter 1 Sekunde, im besten Fall auf 600 ms, gesenkt
Tavus’ Ziel: eine Antwortgeschwindigkeit, die sich menschlich anfühlt
- Tavus ist ein KI-Forschungsunternehmen und eine Entwicklerplattform für Video-APIs, die seit 2020 KI-Videomodelle für digitale Zwillinge oder Avatare entwickelt
- Als Demos werden hassaanraza.com, wo man mit Hassaans digitalem Zwilling sprechen kann, sowie tavus.io mit dem „demo twin“ Carter angeboten
- Interaktives Video kann eine natürlichere Art werden, mit Computern zu interagieren; dafür braucht es jedoch geringe Latenz und ein Bewusstsein, das den Gesprächskontext berücksichtigt
- Die Ziel-Latenz liegt unter einer Sekunde
- Schnelle Gespräche unter Freunden haben zwischen Redebeiträgen nur etwa 250 ms Abstand
- Bei komplexeren Themen oder Gesprächen mit Fremden kommt zusätzliche „Denkzeit“ hinzu
- Unter 1000 ms fühlt sich ein Gespräch nach Einschätzung von Tavus recht realistisch an
Umsetzung mit Latenz, Skalierbarkeit und Kosten im Blick
- Die Architektur musste Latenz, Skalierbarkeit und Kosten zugleich erfüllen; dafür wurde sie von Grund auf als Low-Latency-System neu gedacht
-
Videomodell und Hardwarekosten
- In der frühen Entwicklungsphase mussten alle Komponenten und Modellgewichte im GPU-Speicher liegen, um das Phoenix-1-Modell schneller als 30 fps auszuführen; pro Gespräch war eine eigene H100 erforderlich
- Dieser Ansatz war schwer skalierbar und teuer
- Phoenix-2 ist ein neues Modell mit mehreren Verbesserungen, darunter eine höhere Inferenzgeschwindigkeit
- Wechsel von einem NeRF-basierten Backbone zu Gaussian Splatting
- Als Anforderung wurde festgelegt, auf schwächerer Hardware mit mehr als 70 fps schneller als in Echtzeit Frames zu erzeugen
- Der Fokus lag darauf, GPU-Speicher und Core-Nutzung zu optimieren, damit es auch auf Hardware mit niedrigeren Spezifikationen läuft
- Für Streaming-Nutzung wurden außerdem Parallelisierung statt Batch-Verarbeitung genutzt, um Zeit und Kosten zu senken
-
LLM und End-of-Turn-Erkennung
- Um die Latenz zwischen Redebeiträgen auf unter eine Sekunde zu reduzieren, wurden Vision, ASR, LLM, TTS und Videoerzeugung jeweils stark optimiert
- Der größte Engpass war das LLM
- Wichtiger für die tatsächlich wahrgenommene Verzögerung als schnelle Tokens pro Sekunde war die Zeit bis zum ersten Token (time-to-first token)
- Dienste wie Groq haben zwar eine hohe Tokenrate pro Sekunde, aber eine zu langsame Zeit bis zum ersten Token und passten daher nicht zu den Anforderungen; die meisten Anbieter waren zu langsam
- Der nächste Engpass war die Erkennung, ob der Nutzer aufgehört hat zu sprechen
- Wenn das Ende anhand der Zeit nach einer Stille bestimmt wird, entsteht zusätzliche Verzögerung
- Ist der Schwellenwert zu kurz, fällt der KI-Agent dem Nutzer ins Wort; ist er zu lang, kommt die Antwort zu spät
- Benötigt wurde ein dediziertes Modell, das anhand von Gesprächssignalen das Ende eines Redebeitrags (end-of-turn) präzise erkennt und durch Vorhersage der Eingabe frühzeitig vorbereitet
- Durch diese Optimierungen wurde die zuvor 3–5 Sekunden lange Latenz auf unter 1 Sekunde, im besten Fall auf 600 ms, gesenkt und die Ausführung auch auf Hardware mit niedrigeren Spezifikationen ermöglicht
Demo und Anwendungsfälle
- Tavus hat Kunden wie Delphi; Delphi ist eine Plattform zur Replikation professioneller Coaches und Experten, auf der Nutzer Gespräche mit digitalen Zwillingen führen, die von einigen Minuten bis zu einer Stunde oder sogar vier Stunden dauern
- Wer nach der Demo die API ausprobieren möchte, kann sich unter tavus.io kostenlos registrieren
1 Kommentare
Hacker-News-Kommentare