SeamlessM4T: Von Meta AI veröffentlichtes multimodales Foundation Model für Übersetzung

• Meta AI hat SeamlessM4T vorgestellt, ein grundlegendes mehrsprachiges und multitaskingfähiges Modell, das nahtlose Übersetzung und Transkription zwischen Sprache und Text ermöglicht
• Unterstützt automatische Spracherkennung, Speech-to-Text-Übersetzung, Speech-to-Speech-Übersetzung, Text-to-Text-Übersetzung und Text-to-Speech-Übersetzung für verschiedene Sprachen
  • Automatische Spracherkennung für über 100 Sprachen
  • Speech-to-Text-Übersetzung für über 100 Eingabe- und Ausgabesprachen
  • Speech-to-Speech-Übersetzung mit Unterstützung für über 100 Eingabesprachen und 35 Ausgabesprachen (+ Englisch)
  • Text-to-Text-Übersetzung für über 100 Sprachen
  • Text-to-Speech mit Unterstützung für über 100 Eingabesprachen und 35 Ausgabesprachen (+ Englisch)
• Das SeamlessM4T-Modell wurde unter CC BY-NC 4.0 für Forschende und Entwickler veröffentlicht
• Ebenfalls veröffentlicht wurde SeamlessAlign, ein multimodaler Übersetzungsdatensatz mit 27 Stunden Umfang

[ninebow]

Weiterführende Links

• Paper: https://ai.meta.com/research/publications/seamless-m4t/
• Demo: https://seamless.metademolab.com/
• GitHub-Repository: https://github.com/facebookresearch/seamless_communication
• HuggingFace-Demo: https://huggingface.co/spaces/facebook/seamless_m4t
• (⚠️Werbung⚠️) Einen etwas ausführlicheren Überblick in der koreanischen PyTorch-Community lesen