Fortschritte bei Machine-Learning-Techniken für Machine Learning

 (blog.research.google)
1 Punkte von GN⁺ 2023-12-17 | 1 Kommentare | Auf WhatsApp teilen

Optimierung von ML-Compilern

  • ML-Compiler sind Software-Routinen, die von Nutzern geschriebene Programme in Anweisungen umwandeln, die auf realer Hardware ausgeführt werden können.
  • ML-Programme lassen sich als Berechnungsgraphen darstellen; Knoten repräsentieren Tensor-Operationen, Kanten den Fluss von Tensoren.
  • ML-Compiler müssen verschiedene komplexe Optimierungsprobleme lösen, darunter Optimierungen auf Graph- und Kernel-Ebene.

TpuGraphs-Datensatz

  • Ziel ist es, ML-Compiler zu verbessern, um die Effizienz von ML-Modellen zu erhöhen.
  • Ein trainiertes Kostenmodell wird in den Compiler integriert, nimmt Programm- und Compiler-Konfigurationen als Eingabe entgegen und gibt die erwartete Laufzeit des Programms aus.
  • Der TpuGraphs-Datensatz wurde für trainierte Kostenmodelle veröffentlicht, die Programme betreffen, die auf Googles benutzerdefinierten Tensor Processing Units (TPUs) laufen.

Kaggle-Wettbewerb

  • Der Wettbewerb „Fast or Slow? Predict AI Model Runtime“ mit dem TpuGraph-Datensatz wurde mit 792 Teilnehmenden und 616 Teams abgeschlossen.
  • Die Teilnehmenden nutzten verschiedene neue Techniken wie Graph-Pruning/-Kompression, Feature-Padding-Werte, Node-Features und konfigurationsübergreifende Attention.

NeurIPS Expo

  • Wenn Sie sich für Forschung zu strukturierten Daten und künstlicher Intelligenz interessieren, sollten Sie das NeurIPS-Expo-Panel „Graph Learning Meets Artificial Intelligence“ beachten, das am 9. Dezember stattfand.

Meinung von GN⁺

  • Die Optimierung von ML-Compilern ist ein wichtiges Feld, das die Ausführungsgeschwindigkeit und Effizienz von ML-Modellen erheblich verbessern kann.
  • Ressourcen wie der TpuGraphs-Datensatz fördern die Forschung zur ML-basierten Programmoptimierung und tragen dazu bei, die Leistung von ML-Systemen zu verbessern.
  • Der Kaggle-Wettbewerb ist eine Plattform, die Zusammenarbeit und Innovation in der ML-Community fördert und Teilnehmenden hilft, neue Ansätze und Techniken zu teilen und weiterzuentwickeln.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-12-17
Hacker-News-Kommentare

  • Überbewertung von ML-Compilern

    ML-Compiler werden überbewertet. Wie bei traditionellen Compilern gibt es Trade-offs; sie liefern zwar mehr Durchsatz als die Beschäftigung spezialisierter Performance-Programmierer, letztere können jedoch oft deutlich höhere Leistung erzielen. ML-Compiler sind auf mehreren Ebenen unterlegen: algorithmisch geben sie kein Feedback dazu, wie sich Netzwerke modifizieren lassen, es geht Absicht verloren, und sie erzeugen ineffiziente Kernel. Verglichen mit spezialisierten Assembler-Programmierern liegt die Leistung von Compilern um mehr als 30 % niedriger.

  • Der aktuelle Stand und das Versprechen von ML-Compilern

    Frage nach dem aktuellen Stand von ML-Compilern und ihrem kurzfristigen Versprechen.

  • Verbesserung der Vorhersage der Laufzeitleistung von Rechengraphen

    Zusammenfassung einer Verbesserung der Vorhersage der Laufzeitleistung von Rechengraphen mit GNNs. Verwendet werden ein Einbettungslexikon für den Operationscode jedes Knotens und weitere Knotenmerkmale; außerdem wird ein Datensatz mit verschiedenen XLA-Kompilierungskonfigurationen auf TPUs und den dazugehörigen Leistungsdaten veröffentlicht. Um die Vorhersage für größere Graphen zu verbessern, werden Graph Partitioning (METIS-Graphpartitionierung) und andere Trainingsmethoden eingesetzt. Das betrifft nur die Leistungsvorhersage und verbessert oder schlägt keine neuen äquivalenten Graphen vor.

  • Frage zum Gemini-Projekt

    Frage nach dem aktuellen Stand des Gemini-Projekts.

  • Bitte um Erklärung, wie conv im Graphen funktioniert

    Bitte um Erklärung, wie eine Faltungsoperation für Tensoren einer bestimmten Form ausgeführt wird.

  • Ob Transformer in irgendeinem Sinn optimal sind

    Frage, ob es Anzeichen dafür gibt, in welcher Weise Transformer optimal sind.

  • Meinung zum ersten Absatz

    Meinung, dass der erste Absatz den Kerninhalt verdeckt, der Rest aber interessant ist.

  • Staunen über das Entwicklungstempo von ML

    Meinung, dass sich ML derzeit mit erstaunlicher Geschwindigkeit entwickelt; auch wenn man nicht an die Singularität glaubt, verändert es Software und Gesellschaft auf unvorhersehbare Weise.

  • [Markierter Kommentar]

    Zwei Kommentare wurden markiert, daher ist ihr Inhalt nicht sichtbar.