LLaMA-Omni – Nahtlose Sprachinteraktion mit LLMs

 (github.com/ictnlp)
2 Punkte von GN⁺ 2024-09-20 | 1 Kommentare | Auf WhatsApp teilen
  • Ein End-to-End-Modell für hochwertige Sprachinteraktion mit geringer Latenz
  • Basierend auf Llama-3.1-8B-Instruct entwickelt, mit dem Ziel, Sprachfunktionen auf dem Niveau von GPT-4o zu erreichen
  • Geringe Latenz von 226 ms
  • Erzeugt Text- und Sprachantworten gleichzeitig

Zusammenfassung von GN⁺

  • LLaMA-Omni ist ein Sprach-Sprachmodell auf Basis von Llama-3.1-8B-Instruct, das Sprachinteraktion mit geringer Latenz und hoher Qualität unterstützt
  • Es kann Text- und Sprachantworten gleichzeitig erzeugen und ist dadurch für verschiedene Anwendungsbereiche nützlich
  • Das Training wird mit 4 GPUs in weniger als 3 Tagen abgeschlossen und ist damit effizient
  • Über die Gradio-Demo lässt sich einfach damit interagieren, zudem ist lokale Inferenz möglich
  • Ähnliche Projekte mit vergleichbaren Funktionen sind OpenAIs Whisper und Googles Speech-to-Text API

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-09-20
Hacker-News-Kommentare
  • Frage, ob „Geräusche, die sich nicht als Text ausdrücken lassen“, wiedergegeben werden können
  • Zweifel am Vorteil oder Potenzial dieses Modells gegenüber reinen Textmodellen
    • Hoffnung, dass das Modell mit zunehmender Weiterentwicklung Intonation, Rhythmus und Emotionen, die bei TTS verloren gehen, korrekt interpretieren oder erzeugen kann
  • Frage, ob es nicht einfach „STT -> LLM -> TTS“ ist
    • Frage, ob das Modell bei der Eingabe eines Chewbacca-Lauts diesen als bedeutungsloses Geräusch erkennt oder ihn mit einem schlechten STT als zufällige Wörter interpretiert
  • Frage, ob Modellbetreiber wie Ollama, LM Studio und llama.cpp dies unterstützen
  • Die TTS-Stimme im Demo-Clip klingt Ellen McLain, der Synchronsprecherin von Valve, sehr ähnlich
  • Die Geschwindigkeit ist sehr gut
    • Kürzlich versucht, mit LMStudio + AnythingLLM einen lokalen Sprachchat einzurichten, aber es ist immer noch langsamer als gewünscht
    • Die PiperTTS-Stimme ist besser
  • Für den kommerziellen Einsatz scheint Voice-Finetuning eine wichtige Anforderung zu sein
    • Wünschenswert wären Trainings- oder Finetuning-Code
  • Frage, ob zusätzliches Finetuning nicht möglich ist
  • Frage, ob es eine Demo gibt, die die Leistung zeigt
  • Frage, ob ein Star-History-Graph im GitHub-Repository das Projekt weniger vertrauenswürdig wirken lässt