Data2Vec – der erste leistungsstarke Self-Supervised-Learning-Algorithmus für Sprache, Vision und Text

<p>- Von Meta AI als Open Source veröffentlichter Code, vortrainierte Modelle und Paper <br /> - Das aktuelle Self-Supervised Learning hat wichtige Fortschritte der jüngeren KI-Entwicklung ermöglicht, unterscheidet sich aber noch stark davon, wie Menschen unterschiedliche Informationen zusammenführen und komplexes Wissen erwerben <br /> → Ein für Bilder entwickelter Single-Purpose-Algorithmus lässt sich nur schwer auf Text anwenden <br /> - data2vec arbeitet als erster mit verschiedenen Modalitäten wie Sprache, Vision und Text<br /> → Neues Paradigma: ganzheitliches Self-Supervised Learning<br /> → Bei Vision und Sprache zeigt es bessere Leistung als Single-Purpose-Algorithmen und ist auch im NLP konkurrenzfähig<br /> </p>

[ktasha45]

<p>Interessant.</p>

[xguru]

<p>Data2vec: ein Framework für das Lernen mit verschiedenen Modalitäten https://smilegate.ai/2022/01/23/data2vec/</p>;