Data2Vec – der erste leistungsstarke Self-Supervised-Learning-Algorithmus für Sprache, Vision und Text

• Von Meta AI als Open Source veröffentlichter Code, vortrainierte Modelle und Paper

• Das aktuelle Self-Supervised Learning hat wichtige Fortschritte der jüngeren KI-Entwicklung ermöglicht, unterscheidet sich aber noch stark davon, wie Menschen unterschiedliche Informationen zusammenführen und komplexes Wissen erwerben

→ Ein für Bilder entwickelter Single-Purpose-Algorithmus lässt sich nur schwer auf Text anwenden

• data2vec arbeitet als erster mit verschiedenen Modalitäten wie Sprache, Vision und Text

→ Neues Paradigma: ganzheitliches Self-Supervised Learning

→ Bei Vision und Sprache zeigt es bessere Leistung als Single-Purpose-Algorithmen und ist auch im NLP konkurrenzfähig

[ktasha45]

Interessant.

[xguru]

Data2vec: ein Framework für das Lernen mit verschiedenen Modalitäten https://smilegate.ai/2022/01/23/data2vec/