Show HN: Voice-Bots mit 500 ms Reaktionszeit

 (fastvoiceagent.cerebrium.ai)
1 Punkte von GN⁺ 2024-06-28 | 1 Kommentare | Auf WhatsApp teilen

Demo des schnellsten Sprach-Bots der Welt

Einführung in die Demo

  • Bedeutung der Geschwindigkeit: Bei Voice-AI-Interfaces ist Geschwindigkeit sehr wichtig. Menschen erwarten in normalen Gesprächen schnelle Antworten.
  • Ziel: Diese Demo zeigt latenzarme LLM-Interaktionen mit dem Ziel einer sprachlichen Antwortzeit von unter 500 ms.
  • Technik: Dieser Bot wurde mit Pipecat aufgebaut, einem Open-Source-Framework.

Demo ausprobieren

  • Demo testen: Die Demo kann direkt selbst ausprobiert werden.
  • Quellcode ansehen: Der Quellcode kann eingesehen werden.
  • Selbst deployen: Es gibt eine Option, das Ganze in der eigenen Umgebung bereitzustellen.

Meinung von GN⁺

  • Bedeutung der Geschwindigkeit: Schnelle Antworten in Sprach-Interfaces verbessern die User Experience deutlich.
  • Vorteile von Open Source: Open-Source-Frameworks wie Pipecat sind nützlich, weil Entwickler leicht darauf zugreifen und sie anpassen können.
  • Aspekte bei der Einführung von Technologien: Bei der Einführung neuer Technologien sollten Kompatibilität mit bestehenden Systemen, Wartungskosten usw. berücksichtigt werden.
  • Ähnliche Projekte: Es gibt auch andere Voice-AI-Lösungen wie Googles Dialogflow oder Amazons Lex.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-06-28
Hacker-News-Kommentare
  • Geschwindigkeit: Bei Kundenservice-KI wurde die Antwortzeit auf wenige Sekunden verkürzt. Geschwindigkeit schlägt alles.
  • Sprachinferenz: Noch vor dem Release von OpenAI gpt4o wurde Faster Whisper über WebSocket implementiert. Wegen Zuverlässigkeitsproblemen bei VAD wurde Push-to-talk verwendet.
  • Plattformübergreifendes VAD: Vorstellung eines plattformübergreifenden Browser-VAD-Moduls, das Sileros VAD-Netzwerk nach ONNX portiert. Funktioniert auch in Firefox.
  • Browser-TTS: Browser-Text-to-Speech-Engines werden immer schneller und qualitativ besser. GPT-4o integriert für niedrige Latenz automatische Spracherkennung, Verständnis und Antwortgenerierung in ein einziges Modell.
  • App-Potenzial: Sieht nach einer Teaser-App von Cerebrium aus. Beim Test auf dem iPad variierte die Latenz von 1400 ms bis 400 ms.
  • Konversationserlebnis: Schnelle Antworten machen das Konversationserlebnis besser. Durch kurzes Kontext-Halten werden kurze Antwortzeiten erreicht.
  • Whisper-Diktat: Whisper-dictation zusammen mit llama-70b verwendet. Noch während der Ladezeit der Website war das Sprechen abgeschlossen.
  • Natürliche Konversation: Die Abstimmung von VAD und Unterbrechungen wirkt sehr natürlich. Das natürlichste Konversationserlebnis.
  • Teilen: Andere werden ermutigt, ihre Lösungen zu teilen. Am Wochenende ist geplant, verschiedene Implementierungsansätze anzuschauen.
  • Marketing und Mathematik: Es wird darauf hingewiesen, dass im Marketing zwar 500 gesagt wird, mathematisch aber 759 korrekt wäre.
  • Schnelle Oberfläche: Die Oberfläche ist sehr schnell und kaum von einem Menschen zu unterscheiden. Lob für Cerebrium.ai.