Googles neue AI-Trainingstechnik JEST ist deutlich schneller als bisherige Methoden

• Forscher von Google DeepMind haben in einer wissenschaftlichen Arbeit mit JEST eine neue Methode vorgestellt, die das AI-Training beschleunigt. Sie reduziert die für die Aufgabe nötigen Rechenressourcen und den Zeitaufwand erheblich
• Der Ansatz Multimodal Contrastive Learning with Joint Example Selection (JEST) ist bis zu 13-mal schneller und 10-mal effizienter. Das bedeutet, dass sich auch der Energiebedarf senken lässt
• Ein solcher neuer Ansatz für einen normalerweise energieintensiven Prozess könnte laut der aktuellen Forschungsarbeit die AI-Entwicklung schneller und günstiger machen. Das sind gute Nachrichten für die Umwelt

Hoher Energieverbrauch der AI-Branche

• Große AI-Systeme benötigen erhebliche Rechenleistung, was viel Energie und Wasser für die Kühlung erfordert
• Berichten zufolge stieg der Wasserverbrauch von Microsoft zwischen 2021 und 2022 um 34 %, was auf die wachsende Nachfrage nach AI-Computing zurückgeführt wird
• Die IEA erwartet, dass sich der Stromverbrauch von Rechenzentren von 2022 bis 2026 verdoppeln wird. Das führt zu Vergleichen zwischen dem Strombedarf von AI und dem Energieprofil der oft kritisierten Krypto-Mining-Branche
• Ansätze wie JEST könnten jedoch eine Lösung bieten. Durch die Optimierung der Datenauswahl für das AI-Training lassen sich die nötige Zahl an Iterationen und die erforderliche Rechenleistung deutlich verringern, was den gesamten Energieverbrauch senken kann

So funktioniert JEST

• JEST wählt sich ergänzende Daten-Batches aus, um die Lernfähigkeit von AI-Modellen zu maximieren. Anders als bestehende Methoden, die einzelne Beispiele auswählen, berücksichtigt dieser Algorithmus die Zusammensetzung des gesamten Sets
• Die Google-Forscher nutzten „multimodal contrastive learning“, wobei der JEST-Prozess Abhängigkeiten zwischen Datenpunkten identifiziert. Diese Methode verbessert Geschwindigkeit und Effizienz des AI-Trainings und benötigt dabei deutlich weniger Computing Power
• Ein zentraler Bestandteil des Ansatzes war die Abstimmung des Datenauswahlprozesses mithilfe eines vortrainierten Referenzmodells. Dadurch konnte sich das Modell auf hochwertige, gut kuratierte Datensätze konzentrieren und die Trainingseffizienz weiter optimieren
• Das Training mit JEST auf dem WebLI-Datensatz zeigte bemerkenswerte Verbesserungen bei Lerngeschwindigkeit und Ressourceneffizienz
• Der Algorithmus beschleunigt den Trainingsprozess mit einer Technik namens „data quality bootstrapping“, indem er sich auf bestimmte „passende“ Datenfragmente konzentriert. Diese Technik gewichtet Qualität höher als Quantität und hat sich für das AI-Training als besser erwiesen