OpenAI stellt GPT‑Live vor
(openai.com)- OpenAI stellt GPT‑Live‑1 und GPT‑Live‑1 mini vor, um ChatGPT Voice natürlicher und näher an Echtzeitgesprächen zu machen
- Eine Full-Duplex-Architektur verarbeitet Zuhören und Sprechen gleichzeitig und unterstützt kurze Rückmeldungen, schnelle Wechsel im Dialog sowie das Warten, wenn Nutzer nachdenken
- Bisherige kaskadierte und turnbasierte Sprachansätze hatten Probleme mit Latenz, Informationsverlust und unnatürlichem Dazwischenreden; GPT‑Live soll diese Grenzen durch kontinuierliche Interaktion verringern
- Suche, Reasoning und komplexe Aufgaben werden im Hintergrund an aktuelle Modelle wie GPT‑5.5 delegiert, während GPT‑Live in der Zwischenzeit das Gespräch fortsetzt
- Die Einführung erfolgt auf iOS, Android und ChatGPT.com; für Go, Plus und Pro wird GPT‑Live‑1 zum Standardmodell von ChatGPT Voice, für Free GPT‑Live‑1 mini
Wie GPT‑Live die Struktur von Sprachdialogen verändert
- GPT‑Live ist eine neue Generation von Sprachmodellen, die KI-Sprachdialoge näher an echte Gespräche zwischen Menschen bringen soll
- Kern ist eine Full-Duplex(full-duplex)-Architektur, die während eines Gesprächs gleichzeitig zuhören und sprechen kann
- Während Nutzer sprechen, kann sie mit kurzen Reaktionen wie „mhmm“ oder „yeah“ zeigen, dass sie zuhört
- Sie verarbeitet schnelle Dialogwechsel
- Wenn Nutzer Zeit zum Nachdenken brauchen, kann sie still warten
- Diese Architektur macht ChatGPT Voice natürlicher und ermöglicht es langfristig, auch komplexere und länger laufende agentenartige Aufgaben mit Sprache zu verbinden
Grenzen der bisherigen ChatGPT-Voice-Ansätze
- Kaskadierte Sprachsysteme wie das frühe ChatGPT Voice verbinden mehrere Modelle nacheinander, um eine einzelne Äußerung zu verarbeiten
- original ChatGPT Voice kombinierte ein Modell zur Umwandlung von Sprache in Text, ein großes Sprachmodell zur Erstellung der Antwort und ein Modell zur Umwandlung von Text in Sprache
- Das ermöglichte Sprachdialoge mit frontier AI-Modellen, konnte aber zwischen den Modellen Informationen verlieren und Antworten langsam oder steif wirken lassen
- Turnbasierte Sprachmodelle wie ChatGPT Advanced Voice Mode verarbeiten und erzeugen Audio innerhalb eines einzigen Modells und reduzieren so die Latenz
- Sie arbeiten jedoch weiterhin in einer Turn-Struktur, bei der erst geantwortet wird, nachdem Nutzer aufgehört haben zu sprechen
- Da die Turn-Erkennung auf Stille basiert, können kurze Pausen oder Hintergrundgeräusche fälschlich als Ende eines Turns erkannt werden
- In solchen Fällen kann das Modell zu einem unnatürlichen Zeitpunkt dazwischenreden
Kontinuierliche Interaktion und Aufgabendelegation
- GPT‑Live verarbeitet Eingaben nicht als getrennte Nachrichten nacheinander, sondern nimmt kontinuierlich Input entgegen, während es Output erzeugt
- Das Modell trifft mehrmals pro Sekunde Interaktionsentscheidungen
- ob es sprechen soll
- ob es weiter zuhören soll
- ob es kurz pausieren soll
- ob es dazwischenreden soll
- ob es ein Tool aufrufen soll
- Dieser Ansatz ermöglicht natürlicheres Hin und Her, ein besseres Zeitgefühl und Echtzeitübersetzung
- Tiefgehende Aufgaben werden getrennt von GPT‑Live verarbeitet
- Fragen, die Suche, Reasoning oder stärker agentische Funktionen erfordern, können an andere Modelle wie GPT‑5.5 delegiert werden
- Während mehrere Aufgaben im Hintergrund verarbeitet werden, setzt GPT‑Live das Gespräch fort
- Die Architektur kombiniert natürliche Sprachinteraktion mit aktuellen Modellen und Agenten
Modellversionen und Rollout-Plan
- OpenAI hat begonnen, GPT‑Live‑1 und GPT‑Live‑1 mini in zwei Versionen schrittweise für ChatGPT-Nutzer weltweit auszurollen
- Eine Bereitstellung über die API ist ebenfalls geplant; Entwickler und Unternehmen können sich über ein form benachrichtigen lassen
- Zum Start verwendet GPT‑Live im Hintergrund GPT‑5.5
- GPT‑Live‑1 instant und GPT‑Live‑1 mini verwenden das Modell GPT‑5.5 Instant
- GPT‑Live‑1 Medium und GPT‑Live‑1 High verwenden jeweils das Modell GPT‑5.5 Thinking mit medium bzw. high Reasoning-Aufwand
- OpenAI plant, die von GPT‑Live genutzten Hintergrundmodelle weiter zu aktualisieren, wenn neue frontier Modelle erscheinen
Evaluationsergebnisse
- OpenAI hat eine neue Human Evaluation entwickelt, um Freude und Fluss eines Gesprächs zu messen
- In 5 bis 10 Minuten langen, abgestimmten Gesprächen wurden GPT‑Live‑1 und GPT‑Live‑1 mini deutlich stärker bevorzugt als Advanced Voice Mode
- Gesamtpräferenz
- Turn-Taking
- Dazwischenreden
- Gesprächsfluss
- Natürlichkeit der Interaktion
- GPT‑Live‑1 zeigt in mehreren Benchmarks bessere Ergebnisse als Advanced Voice Mode
- GPQA: testet wissenschaftliches Reasoning auf Expertenniveau in Biologie, Chemie und Physik; GPT‑Live‑1 liegt deutlich vorn
- BrowseComp: testet agentische Websuche und die Fähigkeit, schwer auffindbare Informationen zu finden; GPT‑Live‑1 zeigt große Verbesserungen
- τ³-Voice Telecom: eine interne Variante, die Voice-Agenten in realistischen Multi-Turn-Supportaufgaben für Telekommunikationsanbieter testet; GPT‑Live‑1 liefert bessere Leistung
- Die τ³-Voice-Telecom-Evaluation verwendet ein maßgeschneidertes Nutzermodell, das von einem aktuellen Reasoning-Modell angetrieben wird
Was sich in ChatGPT Voice ändert
- Jede Woche sprechen mehr als 150 Millionen Menschen über Funktionen wie Voice und Dictation mit ChatGPT
- Nutzer verwenden Sprache für freihändige Alltagshilfe, Sprachübungen, Gutenachtgeschichten und Gespräche auf dem Arbeitsweg
- Beim Tippen auf den Voice-Button wird eine GPT‑Live-basierte Experience verwendet
- natürlichere Gespräche
- intelligentere Antworten
- besseres Zuhören
- visuelle Antworten
- Nutzer können mit einer Frage dazwischengehen, pausieren, um ihre Gedanken zu ordnen, oder ChatGPT bitten, langsamer zu sprechen
- ChatGPT kann mit Reaktionen wie „mhmm“ oder „got it“ zeigen, dass es dem Gesagten folgt
- Die neun einzigartigen Stimmen von ChatGPT wurden für GPT‑Live remastered
- Nutzer können das Reasoning-Level auswählen
- Instant: schnelle Antworten
- Medium und High: lässt ChatGPT länger nachdenken
- ChatGPT Voice kann warten und nicht dazwischenreden, wenn Nutzer kurz nachdenken
- Wenn Nutzer darum bitten, still zuzuhören, kann es sich daran halten
- Auch bei Hintergrundgeräuschen wie vorbeifahrenden Autos oder Gesprächen in der Umgebung konzentriert es sich besser auf die Stimme der Nutzer
- Einige Themen wie Wetter, Aktien und Sport können während des Gesprächs als reichhaltige visuelle Karten angezeigt werden
- Voice unterstützt weiterhin Suche, Memory, Bilder und Datei-Uploads
Sicherheitsmaßnahmen und Monitoring
- GPT‑Live baut auf den Sicherheitsverbesserungen aktueller Modelle auf und ergänzt sprachspezifisches Sicherheitstraining sowie neue Schutzmaßnahmen
- OpenAI hat audio-basierte Evaluationen erweitert, um reale Nutzungssituationen von Sprache besser abzubilden
- Auf Basis der Erkenntnisse aus Advanced Voice Mode wurden auch synthetische Evaluationen mit generiertem Audio erstellt
- Selbstverletzung
- Psychose und Manie
- emotionale Abhängigkeit von KI
- Gewalt
- sexuelle Inhalte
- Interne Experten führten Red-Team-Tests zu Risiken durch, die für Sprache spezifisch sind
- In den Tests schnitt GPT‑Live in fast allen bewerteten Bereichen ähnlich gut oder besser ab als Advanced Voice Mode
- Detaillierte Tests und Schutzmaßnahmen sind in der GPT‑Live-system card zu finden
- Da Sprachgespräche in Echtzeit ablaufen, wurden Schutzmaßnahmen ergänzt, die auch funktionieren, während das Modell spricht
- Wenn potenziell unsichere Ausgaben erkannt werden, wird das Modell zu einer sichereren Antwort gelenkt
- Zusätzliche Sicherheitshinweise oder Ressourcen können angezeigt werden
- In Situationen mit höherem Risiko kann das Sprachgespräch beendet werden
- Für Gespräche über Selbstverletzung wurde der Support-Flow von ChatGPT für Sprache angepasst, einschließlich fachlich geprüfter Unterstützung durch Krisen-Hotlines
- Zusätzliche Schutzmaßnahmen für jugendliche Nutzer wurden ebenfalls entwickelt
- Das Modell wird direkt auf altersgerechtes Verhalten trainiert, um das Risiko unangemessener Antworten zu reduzieren
- Eltern können in den Parental Controls festlegen, ob Jugendliche ChatGPT Voice nutzen dürfen
- Verbundene Eltern können in Hochrisikosituationen mit möglichen Anzeichen von Selbstverletzung oder Suizidabsicht benachrichtigt werden
- Außerdem laufen langfristige Messungen und Monitoring nach dem Start mit Fokus auf emotionale Abhängigkeit
- Sie bauen auf früherer Forschung zu affective use and emotional well-being auf
- Sie werden genutzt, um neue Muster in emotional sensiblen Interaktionen zu erkennen und die Antwortweise zu verbessern
- GPT‑Live ist ein Modell für Gespräche und nicht für Stimm-Imitation gedacht
- Es verwendet die vordefinierten Stimmen von ChatGPT
- Schutzmaßnahmen sollen verhindern, dass es die Stimmen realer Personen imitiert
Verfügbarkeit und aktuelle Einschränkungen
- GPT‑Live wird weltweit für ChatGPT-Nutzer auf iOS, Android und ChatGPT.com ausgerollt
- GPT‑Live‑1 wird zum Standardmodell von ChatGPT Voice für Go-, Plus- und Pro-Nutzer
- GPT‑Live‑1 mini wird zum Standardmodell für Free-Nutzer
- Weitere Details zur Verfügbarkeit finden sich im Help Center
- GPT‑Live ist für einige der in ChatGPT häufig genutzten Sprachen optimiert
- In manchen Sprachen kann es Lücken bei nicht-muttersprachlichen Akzenten oder der Sprachflüssigkeit geben
- OpenAI arbeitet daran, die Erfahrung in mehreren Sprachen zu verbessern
- Zum Start unterstützt ChatGPT keine sprachbasierte Video- oder Bildschirmfreigabe
- OpenAI arbeitet daran, diese Funktionen bald einzuführen
- In bestehenden ChatGPT-Voice-Versionen wie Standard und Advanced Voice Mode bleiben diese Funktionen weiterhin verfügbar
1 Kommentare
Meinungen auf Hacker News
Ich habe es ein paar Wochen lang vorab ausprobiert und es war ziemlich gut. Ich hatte beim Gassigehen mit dem Hund ein einstündiges Gespräch, und es kam auch ein recht gutes Brainstorming zu einem meiner Projekte dabei heraus.
Die beste Funktion ist, dass man Fragen im Hintergrund an GPT-5.5 delegieren kann, man ist also nicht mehr an ein Sprachmodell gebunden, das Jahre hinter der Spitze zurückliegt.
Ich habe auch einen lustigen Bug gemeldet: Es fiel mir ins Wort, während ich noch sprach, und lachte über Dinge, die gar nicht als Witz gemeint waren. Zum Glück scheint dieses Verhalten reduziert worden zu sein; damals fühlte es sich ziemlich unhöflich und herablassend an.
Ich freue mich darauf, es auszuprobieren, hoffe aber, dass es kein gruselig überinszeniertes Durcheinander wie Sesame ist. Ich vermute, die Richtung, die ich mir wünsche, wird es schwer haben, die Nutzung stark zu steigern, daher werden sie wohl weiter in Richtung Fake-KI-Freundin drängen.
Ich wollte den Voice Mode von ChatGPT beim Pendeln oder Sport zum Brainstorming nutzen, habe ihn aber weniger verwendet, weil er sich wie in der Vergangenheit gefangen anfühlte.
Wenn man eine Frage stellt, antwortet er etwa: „Interessante Frage. Ich kann Ihnen helfen. Möchten Sie etwas über X wissen?“, und wenn man noch einmal fragt, kommt wieder dieselbe Art Nicht-Antwort zurück.
Besonders Gemini endet jedes Mal mit einer seltsamen Frage, und das lässt sich auch per Prompt nicht zuverlässig verhindern. Am Ende habe ich mir für echte Workflows einen eigenen Client gebaut, der nur STT → Modell → TTS macht. STT und TTS sind jeweils auch unabhängig voneinander nützlich.
Es hat vielleicht einen gewissen Wert, wenn das Modell schnell nuancierter antwortet, aber nicht viel. Ich kann warten, bis die Antwort fertig ist, und hätte lieber, dass sie tatsächlich nützlich ist. Ich suche keinen digitalen Freund.
Durch die Delegationsfunktion sehe ich bei Orchestrierungsfunktionen ein wenig Wert im Sprachmodell, aber nur weil sich das Kommunikationsmedium ändert, mit einem anderen Modell mit anderen Funktionen und quirks sprechen zu müssen, finde ich nicht toll, und ich verstehe auch nicht recht, warum man das mögen sollte.
Das ist genau das Gegenteil der Richtung, in die KI gehen sollte. Zwischenmenschliche Beziehungen sind das Wertvollste, was wir haben, aber Technologie versucht ganz natürlich, sich dazwischenzuschalten, und jetzt versucht sie, sie zu ersetzen.
Ich bin kein Katholik, aber in diesem Podcast gibt es ein interessantes Argument gegen KI als menschenähnlichen Gesprächspartner: https://newpolity.com/podcasts-hub/debate-chatbots
Die Leute nennen es Unterstützung des Menschen, aber ich sehe es so, dass dem Menschen das Menschliche ausgesaugt wird.
Nachdem der Schaden entstanden ist, werden die Großkonzerne mit den Schultern zucken und sagen: „Wir haben nur auf den geschäftlichen Wettbewerb reagiert.“ Ein Unternehmen ist kein Mensch und kennt daher keine Menschlichkeit. Unternehmen und Maschinen sind Wesen, die Menschen als Nahrung betrachten, und die Menschen haben sie erschaffen im Glauben, es sei Fortschritt. Wir nennen es Fortschritt, weil es geistige Fähigkeiten erforderte und uns half, andere Arten zu beherrschen, aber die Delfine lachen wahrscheinlich über uns.
Wenn es um einen KI-Voice-Mode geht, der menschliche Sozialisation oder Gespräche ersetzt, finde ich das ebenfalls cringe und stimme völlig zu. Das gilt für Text wie für Sprache.
Wenn es aber eine alternative Schnittstelle zur Interaktion mit KI als Werkzeug ist, halte ich es für eine großartige Idee. Es gab Momente, in denen ein gut funktionierender Voice Mode nützlich gewesen wäre, etwa wenn ich zu müde zum Tippen war oder freier brainstormen wollte.
Natürlich liegt die Unterscheidung, ob man heutige KI wie eine Person oder wie ein Werkzeug nutzt, ausschließlich beim Nutzer. Ich will Letzteres sehr, und wenn jemand Ersteres nutzen möchte, ist das nicht mein Problem. Schade ist nur, dass diese Funktion am Ende wohl weniger nach ihren Vorteilen als Werkzeug bewertet wird als danach, wie regressiv und reduktionistisch der Durchschnittsmensch sie nutzt.
Ein großer Teil der Interaktion mit Menschen findet ebenfalls per Text statt. Zum Beispiel dieser Beitrag hier.
Man könnte allerdings auch argumentieren, dass man sie stärker roboterhaft machen sollte. Wie in Star Trek. Ehrlich gesagt wäre das für die Arbeit vielleicht besser. So etwas wie ein „Erledigungsmodus“ mit kalter, reiner Effizienz.
Was bei dieser Ankündigung fehlt, sind die Fähigkeiten für Connectoren und Tool-Nutzung. Das verstehe ich nicht so recht. Unter den führenden Assistenten wie Claude, ChatGPT, Gemini und Grok kann im Voice Mode keiner Tools oder Connectoren verwenden.
Das wirkt doch völlig naheliegend: Ich möchte während eines Gesprächs Material recherchieren, Dokumente laden, Notizen hinterlassen und produktiv arbeiten. Ich möchte den Voice Mode nicht jedes Mal beenden müssen, wenn ich eine Verbindung zu einer App oder einem Service brauche.
Merkwürdig ist, dass der frühere Voice Mode von Claude Tools verwenden konnte, diese Fähigkeit aber bei der Überarbeitung verloren hat und jetzt auf Haiku festgelegt ist.
Es ist erfreulich, dass es endlich einen Voice Mode auf Basis eines führenden Modells gibt, der hoffentlich so gut ist wie Grok Voice, aber schade, dass Tool-Nutzung im Voice Mode weiterhin nicht zu sehen ist.
Ich habe es noch nicht selbst ausprobiert und nur die Ankündigung gelesen.
Sams Reaktion war: „Ja, es hat keinen Zugriff auf Tools wie einen Timer. Das ist ein bekanntes Problem und wird in ungefähr einem Jahr kommen.“
Der Clip ist hier: https://www.youtube.com/shorts/Py2YgJe8fqQ
Es gibt eine Stelle, die so angepasst wurde, dass man das Modell gpt-realtime-2 mit Tool-Nutzung ausprobieren kann: https://sippet.ai/?enabler=hn
Wegen der multimodalen Verarbeitung musste ich allerdings viele seltsame Events sowie Race Conditions zwischen Nachrichten- und Audiosequenzen debuggen. Insgesamt ist es trotzdem ziemlich großartig.
Ich werde später heute auf dieses Modell umstellen und die Ergebnisse nachreichen.
Jedenfalls kann man jederzeit per Vibe Coding mit pi so etwas bauen.
Wie viele AI-Funktionen ist das cool und zugleich etwas unheimlich. Ich habe früher nie wirklich Voice Interfaces wie Siri, Google oder die auf dem Fernseher genutzt, bin also vermutlich nicht die Zielgruppe, aber es sieht nach einer Verbesserung aus.
Unheimlich daran ist, dass wir in einer Zeit leben, in der wir stärker denn je voneinander getrennt sind. Müssen wir wirklich auch noch Gespräche ersetzen? Die Demovideos mit älteren Frauen deuten etwas an; aus meiner Sicht haben wir ohnehin schon ein Problem damit, wie die Gesellschaft mit älteren Menschen umgeht, und ein riesiges Problem mit Einsamkeit im Alter. Wenn ich mir vorstelle, dass Menschen Maschinen wirklich nahekommen, die in Wahrheit nicht denken, macht mich das traurig und löst ein deutliches Unbehagen aus.
Ich bin Atty von OpenAI.
GPT-Live-1 ist die erste Version einer neuen Modellgeneration, und ich denke, dass die Full-Duplex-Architektur und die Delegationsfunktion völlig neue Formen der Mensch-KI-Interaktion ermöglichen.
Ich würde gern Feedback hören.
Ich frage mich, ob du in fünf Jahren ein gewisses Maß an persönlicher Verantwortung empfinden würdest, wenn du hörst, dass Teenager ihre Zeit nur noch mit euren Chatbots verbringen, oder ob du gar keine Verantwortung empfinden würdest.
So formuliert kann es missverständlich sein, weil man denken könnte, auch der normale Client habe diese Funktion nicht.
Ich bin genervt, weil mich das vielleicht dazu bringt, ChatGPT wieder zu abonnieren. Vor LLMs hätte ich nicht geglaubt, dass ich Voice-Funktionen einmal so viel nutzen würde, aber aktuell hat ChatGPT das beste Voice Interface.
Das Grok-Interface sehe ich als Nächstes, danach Claude.
Einer meiner liebsten Use Cases ist, beim Autofahren über zufällige Themen zu sprechen und dabei etwas zu lernen.
Es ist deutlich besser als früher, aber immer noch erheblich schwächer als der direkte Chat.
Ich habe zum Beispiel gefragt: „Es wird oft gesagt, dass die Vektorgröße nicht den Großteil der nützlichen Information kodiert; warum sollte LLM-Attention dann statt Kosinus-Ähnlichkeit das Skalarprodukt verwenden?“
Die Voice-Antwort ging in die richtige Richtung, hatte aber zu wenig Details und wirkte etwas ausweichend.
Die Text-Chat-Antwort auf dieselbe Frage war deutlich hochwertiger.
In der Voice-Antwort sagte es „Ich denke mal darüber nach …“, also scheint es wie beworben 5.5 aufzurufen, ist aber eindeutig schwächer.
Bei beiden hatte ich die gleichen Reasoning-Einstellungen.
Wenn es also viel Text ist, ist es besser, ihn auf dem Bildschirm anzuzeigen.
So ein Gespräch würde ziemlich unangenehm werden.
Ich frage mich, ob es neben PersonaPlex ein öffentlich verfügbares Open-Source-Full-Duplex-Modell gibt. Unter den veröffentlichten chinesischen Modellen gab es, glaube ich, ein Modell mit einem Namen ähnlich Fun Audio Chat, das angekündigt hatte, eine Full-Duplex-Version herauszubringen; ich weiß aber nicht, ob das tatsächlich passiert ist.
Mein Traum ist ein Open-Source-Full-Duplex-Modell mit Function Calling oder sehr grundlegender Textausgabe. PersonaPlex ist immer noch interessant, aber um die Ausgabe-Verarbeitung zu handhaben oder zu verhindern, dass es leicht aus dem Ruder läuft, scheint Fine-Tuning nötig zu sein.
https://si.inc/posts/hertz-dev/
Es ist nur 8.5B groß und klingt nicht wirklich vollständig dialogfähig.
Im Moment mache ich alles über iMessage, aber wenn ich in der Küche alle Hände voll habe, wäre es schön, per Sprache sagen zu können, dass etwas zur Einkaufsliste hinzugefügt werden soll. Über Tipps, welches Mikrofon und welche Lautsprecher sich eignen, würde ich mich ebenfalls freuen; als Gehirn möchte ich einen herumliegenden Raspberry Pi wiederverwenden.
Gemini live kann das schon seit über einem Jahr. Wenn man es einfach auf dem Handy einschaltet, funktioniert es tatsächlich überraschend gut, besonders beim Umgang mit Unterbrechungen.
Ich habe es mit meiner 95-jährigen niederländischen Großmutter getestet; es wechselte nahtlos zwischen Englisch und Niederländisch, kam gut mit ihrem eingeschränkten Hörvermögen zurecht und verstand auch Bitten um Wiederholung gut.
Es ist ein wenig überraschend, dass OpenAI hier gerade erst so aufholt.
Wenn man das Handy auf ein Stativ stellt, kann es einen Schritt für Schritt durch die gesamte Reparatur führen.
Das Besondere an diesem Modell ist, dass es während des Gesprächs Aufgaben an ein Frontier-Modell delegieren kann.
Das Worst-Case-Szenario ist, dass Menschen sich so sehr daran gewöhnen, mit einer AI zu sprechen, die ihnen immer zustimmt, dass sie die Fähigkeit verlieren, mit Wesen zu reden, die andere Perspektiven als sie selbst haben oder Reaktionen zeigen, die ihnen nicht das Ego streicheln.