AlphaEvolve: Ein fortschrittlicher, auf Gemini basierender Coding-Agent für das Design von Algorithmen

• Das von Google DeepMind vorgestellte AlphaEvolve ist ein evolutionsbasierter Coding-Agent, der Gemini-Modelle mit einem automatischen Evaluator kombiniert, um Algorithmen zu entdecken und zu optimieren
• Gemini Flash übernimmt die breite Exploration von Ideen, Gemini Pro liefert tiefere Vorschläge, und Kandidatenprogramme werden ausgeführt, validiert und bewertet, bevor sie zu vielversprechenden Varianten weiterentwickelt werden
• In den vergangenen 12 Monaten wurden entdeckte Algorithmen für Rechenzentrums-Scheduling, TPU-Design und Gemini-Optimierung ausgerollt; bei Borg werden im globalen Google-Compute-Pool im Schnitt dauerhaft 0,7 % der Ressourcen zurückgewonnen
• Ein Matrixmultiplikations-Kernel für Gemini wurde um 23 % beschleunigt, wodurch sich die Trainingszeit um 1 % verringerte; eine FlashAttention-Kernel-Implementierung erreichte eine Beschleunigung von bis zu 32,5 %
• Im Mathematikbereich fand das System einen Algorithmus, der 4x4-Matrixmultiplikation über komplexe Zahlen mit 48 Skalarmultiplikationen ausführt, und verbesserte bei rund 20 % von mehr als 50 offenen Problemen die bislang besten bekannten Lösungen

---

Wie AlphaEvolve Algorithmen weiterentwickelt

• AlphaEvolve ist ein evolutionsbasierter Coding-Agent mit dem Ziel der allgemeinen Entdeckung und Optimierung von Algorithmen
• Er kombiniert die kreative Problemlösungsfähigkeit großer Sprachmodelle mit einem automatischen Evaluator, der Antworten verifiziert, und verbessert vielversprechende Ideen kontinuierlich in einem evolutiven Framework
• 2023 zeigte Google DeepMind, dass LLMs durch das Erzeugen von Codefunktionen in offenen wissenschaftlichen Problemen nachweisbar neues Wissen finden können; AlphaEvolve erweitert diesen Ansatz von einzelnen Funktionen auf ganze Codebasen und komplexere Algorithmen
• Die Modellkonfiguration ist so aufgebaut, dass Suchbreite und Qualität der Vorschläge aufgeteilt werden
  • Gemini Flash: ein schnelles und effizientes Modell zur Exploration eines breiteren Ideenraums
  • Gemini Pro: ein leistungsfähigeres Modell für tiefere, einsichtsreichere Vorschläge
• Die erzeugten Programme werden anhand automatischer Metriken ausgeführt, validiert und bewertet; besonders gut eignet sich das für Probleme in Mathematik und Informatik, bei denen sich Korrektheit und Qualität quantitativ messen lassen

Ergebnisse im Einsatz in der Google-Infrastruktur

• In den vergangenen 12 Monaten wurden von AlphaEvolve entdeckte Algorithmen in Googles Rechenzentren, Hardware und Software ausgerollt
• Einzelne Optimierungen entfalten, auf große KI- und Compute-Infrastrukturen angewendet, die Wirkung, mit denselben Ressourcen mehr Arbeit zu erledigen

• Rechenzentrums-Scheduling

  • AlphaEvolve fand eine einfache, aber effektive Heuristik, die Borg dabei hilft, Googles große Rechenzentren effizienter zu koordinieren
  • Diese Lösung läuft seit mehr als einem Jahr in der Produktion und gewinnt im globalen Google-Compute-Pool im Schnitt dauerhaft 0,7 % der Ressourcen zurück
  • Sie ist in menschenlesbarem Code implementiert und bietet dadurch zugleich Interpretierbarkeit, einfacheres Debugging, Vorhersagbarkeit und leichtere Ausrollung

• Hardware-Design

  • Das System schlug eine Umschreibung in Verilog vor, die in hochoptimierten arithmetischen Schaltungen für Matrixmultiplikation unnötige Bits entfernt
  • Die vorgeschlagenen Änderungen müssen ein strenges Verifikationsverfahren bestehen, um sicherzustellen, dass die funktionale Korrektheit der Schaltung erhalten bleibt
  • Der Vorschlag wurde in zukünftige Tensor Processing Unit-Generationen integriert, Googles kundenspezifische KI-Beschleuniger
  • Da die Änderungen in der Standardsprache vorgeschlagen werden, die Chipdesigner verwenden, passt der Ansatz auch zur Zusammenarbeit zwischen KI und Hardware-Ingenieuren

Optimierung von Gemini-Training und -Inference

• AlphaEvolve fand einen Weg, große Matrixmultiplikationsaufgaben in kleinere Teilprobleme zu zerlegen, und machte damit einen zentralen Kernel der Gemini-Architektur um 23 % schneller
• Diese Kernel-Verbesserung verkürzte die Gemini-Trainingszeit um 1 % und reduzierte zudem die für die Entwicklung generativer KI-Modelle nötigen Compute-Ressourcen
• Der Engineering-Aufwand für Kernel-Optimierungen sank von mehreren Wochen Expertenarbeit auf wenige Tage automatisierter Experimente
• Auch Low-Level-GPU-Instruktionen gehörten zum Optimierungsziel
  • In diesem Bereich optimieren Compiler üblicherweise bereits so stark, dass menschliche Ingenieure selten direkt eingreifen
  • Bei einer FlashAttention-Kernel-Implementierung für Transformer-basierte KI-Modelle wurde eine Beschleunigung von bis zu 32,5 % erreicht
• Solche Optimierungen helfen Experten, Performance-Engpässe zu finden und Verbesserungen leichter in die Codebasis zu integrieren

Mathematik und Algorithmus-Entdeckung

• AlphaEvolve kann selbst mit nur minimal vorgegebenem Codegerüst neue Ansätze für komplexe mathematische Probleme vorschlagen
• Durch das Design mehrerer Komponenten eines neuen gradientenbasierten Optimierungs-Verfahrens entdeckte das System neue Algorithmen für Matrixmultiplikation
• Im Beispiel wurden verschiedene Komponenten wie Optimierer, Gewichtsinitialisierung, Verlustfunktion und Hyperparameter-Suche verändert; im Evolutionsprozess waren 15 Mutationen nötig
• Das Verfahren von AlphaEvolve fand einen Algorithmus, der 4x4-Matrixmultiplikation über komplexe Zahlen mit 48 Skalarmultiplikationen ausführt
  • Das verbessert in diesem Setting den zuvor besten bekannten Algorithmus von Strassen aus dem Jahr 1969
  • AlphaTensor, das auf Matrixmultiplikationsalgorithmen spezialisiert war, fand bei 4x4-Matrizen nur für binäre Arithmetik Verbesserungen
• Das System wurde außerdem auf mehr als 50 offene Probleme aus mathematischer Analyse, Geometrie, Kombinatorik und Zahlentheorie angewendet
  • Die meisten Experimente ließen sich innerhalb weniger Stunden aufsetzen
  • In rund 75 % der Fälle wurden bekannte State-of-the-Art-Lösungen wiederentdeckt
  • In etwa 20 % der Fälle wurden die bisher besten Lösungen verbessert und so Fortschritte bei den jeweiligen offenen Problemen erzielt
• Beim Kissing-Number-Problem wurde in 11 Dimensionen eine Anordnung von 593 äußeren Kugeln gefunden und damit eine neue untere Schranke gesetzt

Veröffentlichungspläne und Anwendungsbereich

• AlphaEvolve zeigt eine Entwicklung von der Entdeckung domänenspezifischer Algorithmen hin zur Entwicklung komplexer Algorithmen für reale Probleme
• Google DeepMind erwartet, dass sich AlphaEvolve mit verbesserten Coding-Fähigkeiten großer Sprachmodelle weiter verbessern wird
• Gemeinsam mit dem People + AI Research team wird an einer benutzerfreundlichen Oberfläche gearbeitet, über die sich mit AlphaEvolve interagieren lässt
• Geplant ist ein Early Access Program für ausgewählte akademische Nutzer; auch eine breitere Veröffentlichung wird geprüft
• Interessenbekundungen sollen über dieses Formular entgegengenommen werden
• Der aktuelle Einsatzbereich liegt bei Mathematik und Computing, prinzipiell ist das System aber auf Probleme anwendbar, deren Lösungen sich als Algorithmen ausdrücken und automatisch verifizieren lassen
• Google DeepMind sieht auch in Materialwissenschaft, Wirkstoffforschung, Nachhaltigkeit sowie breiteren technischen und geschäftlichen Anwendungen Potenzial für AlphaEvolve
• Verwandte Materialien
  • Whitepaper im Detail lesen
  • Interesse an der Nutzung von AlphaEvolve registrieren
  • Mathematische Ergebnisse von AlphaEvolve in Google Colab ansehen