Richard Sutton und Andrew Barto erhalten den Turing Award 2024

• ACM hat Andrew G. Barto und Richard S. Sutton als Preisträger des 2024 ACM A.M. Turing Award ausgewählt, weil sie die konzeptionellen und algorithmischen Grundlagen des Reinforcement Learning gelegt haben
• Seit den 1980er Jahren haben die beiden belohnungsbasiertes Lernen als allgemeines Problem-Framework formalisiert und Ansätze entwickelt, die auch dann funktionieren, wenn Umgebung und Belohnungen unbekannt sind
• Zu ihren wichtigsten Beiträgen zählen Temporal-Difference-Learning, Policy-Gradient-Methoden, neuronale Netzwerke zur Funktionsrepräsentation sowie Agentenentwürfe, die Lernen und Planung kombinieren
• Das Lehrbuch Reinforcement Learning: An Introduction von 1998 wurde mehr als 75.000-mal zitiert und beeinflusste AlphaGo, RLHF bei ChatGPT, Robotermanipulation, Netzwerk-Staukontrolle und Chipdesign
• Der Turing Award ist mit 1 Million US-Dollar Preisgeld dotiert, finanziert von Google; ACM sieht Reinforcement Learning als wichtigen Beitrag sowohl zum Fortschritt der KI als auch zum Verständnis der Funktionsweise des Gehirns

---

Preisträger und Begründung

• ACM hat Andrew G. Barto und Richard S. Sutton als Preisträger des 2024 ACM A.M. Turing Award ausgewählt
• Die Auszeichnung würdigt ihre Entwicklung der konzeptionellen und algorithmischen Grundlagen des Reinforcement Learning
• Seit den 1980er Jahren führten beide in wissenschaftlichen Arbeiten die Kernideen des Reinforcement Learning ein und bauten dessen mathematische Grundlagen sowie zentrale Algorithmen auf
• Barto ist emeritierter Professor für Information and Computer Sciences an der University of Massachusetts, Amherst
• Sutton ist Professor für Informatik an der University of Alberta, Research Scientist bei Keen Technologies und Fellow des Amii (Alberta Machine Intelligence Institute)
• Der ACM A.M. Turing Award wird oft als „Nobelpreis der Informatik“ bezeichnet und ist dank finanzieller Unterstützung von Google, Inc. mit 1 Million US-Dollar dotiert

Welches Problem Reinforcement Learning löst

• Künstliche Intelligenz ist im Allgemeinen das Feld, das Agenten entwickelt, die ihre Umgebung wahrnehmen und handeln
• Intelligentere Agenten müssen bessere Handlungswege auswählen, und die Entscheidung, welche Handlung besser ist als eine andere, steht im Zentrum der KI
• Belohnung (reward) ist ein Begriff aus Psychologie und Neurowissenschaft und bezeichnet ein Signal, das in Bezug auf die Qualität des Verhaltens eines Agenten gegeben wird
• Reinforcement Learning ist der Prozess, auf Grundlage dieses Belohnungssignals zu lernen, erfolgreicher zu handeln
• Alan Turing behandelte in seinem Aufsatz von 1950 „Computing Machinery and Intelligence“ die Frage „Können Maschinen denken?“ und schlug einen auf Belohnung und Bestrafung basierenden Ansatz des maschinellen Lernens vor
• Arthur Samuel entwickelte Ende der 1950er Jahre ein Dame-Programm, das durch Selbstspiel lernte, doch in dieser Richtung der KI gab es danach über Jahrzehnte hinweg kaum größere Fortschritte

Technische Beiträge von Barto und Sutton

• Anfang der 1980er Jahre begannen Barto und Sutton, damals sein Doktorand, inspiriert von Beobachtungen aus der Psychologie, Reinforcement Learning als allgemeines Problem-Framework zu formalisieren
• Dabei nutzten sie die mathematischen Grundlagen des Markov-Entscheidungsprozesses (MDP)
  • In einem MDP trifft ein Agent Entscheidungen in einer stochastischen Umgebung
  • Nach jedem Übergang erhält er ein Belohnungssignal und zielt darauf ab, die langfristig kumulierte Belohnung zu maximieren
• Die Standardtheorie von MDPs geht davon aus, dass dem Agenten alle Informationen bekannt sind, doch das Framework des Reinforcement Learning behandelt auch Situationen, in denen Umgebung und Belohnungen unbekannt sind
• Weil der Informationsbedarf gering ist und das MDP-Framework allgemein einsetzbar ist, lässt sich Reinforcement Learning auf viele unterschiedliche Probleme anwenden
• Durch gemeinsame Forschung und weitere Zusammenarbeit entwickelten Barto und Sutton mehrere grundlegende algorithmische Ansätze des Reinforcement Learning
  • Ihr wichtigster Beitrag ist Temporal-Difference-Learning, das große Fortschritte beim Lösen von Problemen der Belohnungsvorhersage brachte
  • Zu den zentralen Ansätzen gehören auch Policy-Gradient-Methoden
  • Sie entwickelten Ansätze weiter, die neuronale Netzwerke als Werkzeug zur Darstellung gelernter Funktionen verwenden
  • Außerdem schlugen sie Agentenentwürfe vor, die Lernen und Planung kombinieren, indem Wissen über die Umgebung erworben und als Grundlage für Planung genutzt wird

Einfluss über Lehrbuch und Deep Reinforcement Learning hinaus

• Das Lehrbuch Reinforcement Learning: An Introduction von 1998 ist weiterhin die Standardreferenz des Fachgebiets und wurde mehr als 75.000-mal zitiert
• Es half Tausenden Forschenden, das damals entstehende Feld des Reinforcement Learning zu verstehen und dazu beizutragen, und beeinflusst bis heute die Forschungsaktivitäten in der Informatik
• Die Algorithmen von Barto und Sutton wurden zwar schon vor Jahrzehnten entwickelt, doch in den vergangenen 15 Jahren führte die Kombination von Reinforcement Learning und Deep-Learning-Algorithmen zu großen Fortschritten in realen Anwendungen
• Daraus entstanden Verfahren des Deep Reinforcement Learning
• Deep-Learning-Algorithmen werden hier als von den Turing-Award-Preisträgern 2018 Bengio, Hinton und LeCun mitbegründet beschrieben

Anwendungsbeispiele und Erweiterung der Forschung

• Als repräsentatives Beispiel für Reinforcement Learning gilt, dass AlphaGo 2016 und 2017 die besten menschlichen Go-Profis besiegte
• Auch ChatGPT zählt zu den wichtigen Erfolgen
  • ChatGPT ist ein großes Sprachmodell, das in zwei Phasen trainiert wurde
  • In der zweiten Phase kam Reinforcement Learning from Human Feedback (RLHF) zum Einsatz, um menschliche Erwartungen abzubilden
• Im Bereich Robotik gibt es Beispiele wie In-Hand-Robotermanipulation und das Lösen eines physischen Rubik’s Cube
  • Sie zeigen, dass Reinforcement Learning in der Simulation trainiert werden und dennoch in der deutlich anderen realen Welt erfolgreich sein kann
• Weitere Anwendungsfelder sind Netzwerk-Staukontrolle, Chipdesign, Internetwerbung, Optimierung, die Optimierung globaler Lieferketten, die Verbesserung von Verhalten und Schlussfolgerungsfähigkeit von Chatbots sowie die Verbesserung von Algorithmen zur Matrixmultiplikation
• Von den Neurowissenschaften inspirierte Techniken wirken inzwischen auch zurück auf die Neurowissenschaften
  • Neuere Forschung, darunter Arbeiten von Barto, kommt zu dem Schluss, dass bestimmte in der KI entwickelte Reinforcement-Learning-Algorithmen verschiedene Entdeckungen rund um das Dopaminsystem des menschlichen Gehirns am besten erklären

Einschätzung von ACM und Google

• ACM-Präsident Yannis Ioannidis bewertet die Arbeiten von Barto und Sutton als Beleg für das Potenzial interdisziplinärer Ansätze bei langjährigen Problemen der Informatik
• Kognitionswissenschaft, Psychologie und Neurowissenschaft haben die Entwicklung des Reinforcement Learning inspiriert; umgekehrt liefert Reinforcement Learning die Grundlage für wichtige Fortschritte der KI und tiefere Einsichten in die Funktionsweise des Gehirns
• Ioannidis erklärte, Reinforcement Learning sei keine überwundene Zwischenstufe, sondern wachse weiter und biete Potenzial für zusätzliche Fortschritte in der Informatik und vielen anderen Bereichen
• Google Senior Vice President Jeff Dean zitierte Alan Turing mit den Worten aus einem Vortrag von 1947: „Was wir wollen, ist eine Maschine, die aus Erfahrung lernen kann.“
• Dean bewertet das von Barto und Sutton geprägte Reinforcement Learning als direkte Antwort auf Turings Fragestellung; es sei in den vergangenen Jahrzehnten eine zentrale Triebkraft des KI-Fortschritts gewesen und bleibe eine tragende Säule des aktuellen KI-Booms

Kurzbiografien der Preisträger

• Andrew Barto ist emeritierter Professor am Fachbereich Information and Computer Sciences der University of Massachusetts, Amherst
  • 1977 begann er seine Laufbahn dort als Postdoktorand
  • Später war er unter anderem Associate Professor, Professor und Department Chair
  • Er erwarb an der University of Michigan einen Bachelor in Mathematik sowie Master- und Doktorgrade in Computer and Communication Sciences
  • Er erhielt den UMass Neurosciences Lifetime Achievement Award, den IJCAI Award for Research Excellence und den IEEE Neural Network Society Pioneer Award
  • Er ist IEEE Fellow und AAAS Fellow
• Richard Sutton ist Professor für Computing Science an der University of Alberta, Research Scientist beim in Dallas ansässigen AGI-Unternehmen Keen Technologies und Chief Scientific Advisor von Amii
  • Von 2017 bis 2023 war er Distinguished Research Scientist bei DeepMind
  • Von 1998 bis 2002 arbeitete er als Principal Technical Staff Member in der KI-Abteilung des AT&T Shannon Laboratory
  • Die Zusammenarbeit mit Barto begann 1978 an der University of Massachusetts at Amherst; Barto war Suttons Betreuer im Promotions- und Postdoc-Abschnitt
  • Er erwarb an der Stanford University einen Bachelor in Psychologie sowie an der University of Massachusetts at Amherst Master- und Doktorgrade in Computer and Information Science
  • Er erhielt den IJCAI Research Excellence Award, den Canadian Artificial Intelligence Association Lifetime Achievement Award und den University of Massachusetts at Amherst Outstanding Achievement in Research Award
  • Er ist Fellow der Royal Society of London, der Association for the Advancement of Artificial Intelligence und der Royal Society of Canada

[GN⁺]

Meinungen auf Hacker News

• Das freut mich wirklich zu sehen. Es stellte sich heraus, dass meine Frau und ich das Haus von Andy Barto und seiner Frau gekauft haben.
  Beim Kauf gab es einen Bieterwettstreit, und als es hieß, wir sollten unser „bestes Angebot“ abgeben, wusste ich, dass er Mathematiker ist, und bot einen Primzahl-Betrag. Schön zu sehen, dass seine Leistungen anerkannt werden.

  • Man hätte auch scherzen können: „Machen wir es fair für beide, wie wäre es mit 2 Dollar?“
  • War der „Primzahl-Betrag“ vielleicht $12345678910987654321?
  • Großartige Geschichte. Ich frage mich, wie hoch dieser Primzahl-Betrag war.

• Schön und absolut verdient. Beide Ausgaben des Lehrbuchs zu Reinforcement Learning sind als kostenlose PDFs verfügbar.
  Ich arbeite seit 1982 bezahlt als KI-Praktiker, aber Reinforcement Learning war für mich persönlich ein schwer zu lernendes Thema; das Buch von Sutton/Barto und die Coursera-Kurse der Professoren White zu Reinforcement Learning haben mir sehr geholfen. Empfehlung.
  Die Beispielprogramme zum Buch gibt es in Common Lisp und Python: http://incompleteideas.net/book/the-book-2nd.html

• Jetzt ist ein guter Zeitpunkt, The Bitter Lesson noch einmal zu lesen: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson...

  • Die offizielle URL ist hier: <http://www.incompleteideas.net/IncIdeas/BitterLesson.html>
  • Eine wirklich bittere Lektion. Früher hat es Spaß gemacht, menschliches Wissen in Computer zu kodieren, und dadurch konnte man verstehen, was vor sich ging.
    Jetzt wird alles zu einer riesigen Black Box, über die man nur schwer Schlussfolgerungen ziehen kann. Außerdem ist Moore’s Law zu einer selbsterfüllenden Prophezeiung geworden. KI treibt die Nachfrage nach Rechenleistung massiv nach oben, wodurch Chiphersteller spezielle Hardware bauen, und das dreht sich wie ein Flywheel weiter.
  • Das hängt ein wenig davon ab, was das Ziel der KI-Forschung ist. Wenn das Ziel darin besteht, Maschinen zu bauen, die Aufgaben gut erledigen, von denen man annahm, dass nur der menschliche Geist sie ausführen könne oder dafür nötig sei, dann ist diese bittere Lektion durchaus wertvoll.
    Wenn es aber darum geht, einer Maschine X beizubringen und dabei auch zu verstehen, wie Menschen X tun, dann liefern immer komplexere statistische Konstruktionen nur begrenzte Informationen. Ich ergreife hier nicht für eine Seite Partei; ich meine nur, dass ein differenzierterer Ansatz nötig sein könnte.
  • In der Computer Vision gab es eine ähnliche Entwicklung. Frühe Methoden behandelten Sehen, indem sie Kanten, generalisierte Zylinder oder SIFT-Features fanden; heute ist vieles davon verworfen, und moderne Deep-Learning-Netze sind allein mit Faltungen und bestimmten Invarianzen deutlich besser.
    Ich war genau zu der Zeit in der Praxis dabei, als Pattern Matching in der Vision zu sterben begann. Ganz verschwunden ist es nicht, und was man damals gelernt hat, ist auch heute an anderer Stelle nützlich.
  • Wenn man an die bittere Lektion denkt, die Praktiker der klassischen Natural Language Processing gelernt haben müssen, wird einem schwindlig. Der Text stimmt auch heute noch.

• Ihr Buch Reinforcement Learning: An Introduction ist einer der zugänglichsten Texte im Bereich KI/Machine Learning und daher sehr zu empfehlen.

  • Ich habe versucht, in Reinforcement Learning einzusteigen, hatte aber immer das Gefühl, dass die Formeln und all das mit Sternchen versehene Zeug weit über meinem Niveau lagen.
  • Mich würde interessieren, welchen Hintergrund du hast. Leider fand ich das Buch nicht besonders zugänglich.
  • Das Buch liest sich mit Vergnügen. Sehr zu empfehlen.
  • Meinst du Reinforcement Learning: An Introduction? Oder haben sie noch ein anderes Buch geschrieben?

• Um die Balance zu wahren, hätte man ihn Physikern geben sollen.

• Man sollte daran erinnern, dass Sutton ein Human-Successionist ist und es ihm egal ist, wenn die gesamte Menschheit stirbt. Er ist niemand, dem man vertrauen oder den man feiern sollte: https://www.youtube.com/watch?v=NgHFMolXs3U

  • Der ACM-Preis wird für ihre professionellen wissenschaftlichen Leistungen vergeben. Wir sollten aufhören mit der Obsession, im Privatleben von jemandem zu wühlen, die merkwürdigste Äußerung herauszusuchen und damit das gesamte Lebenswerk als böse zu überziehen.
    Es ist dumm und gefährlich zu glauben, jeder könne herausragende Leistungen zu B, die die Welt verändern können, entwerten, nur weil einem A nicht gefällt und diese Person A gesagt oder getan haben soll. Das Internet stellt das Urteil von Menschen, die sich mit dem Thema auskennen, und bloße Abneigung auf dieselbe Stufe. Es macht mich wütend, dass diese Art des Vorgehens Menschen in größerem Maßstab auseinanderbringt.
  • Hast du Sutton je persönlich getroffen? Er ist einer der warmherzigsten, rücksichtsvollsten und leidenschaftlichsten Hippies, die ich je getroffen habe. Er wünscht sich nicht, dass alle Menschen sterben.
    Auch der verlinkte Vortrag stützt diese Behauptung nicht. Wenn ich etwas übersehen habe, gib bitte einen Timestamp an. In dem Vortrag sagt er, dass es in ein Zeitalter des Gedeihens führen werde, selbst wenn die Menschheit ihr Schicksal nicht mehr allein kontrolliert. Auf der Schlussfolie bei 12:33 steht wörtlich der Punkt „beste Hoffnung für die langfristige Zukunft der Menschheit“. Das ist das genaue Gegenteil von „es ist ihm egal, wenn die gesamte Menschheit stirbt“.
    Dass ich eine Nachfolge vorbereite, heißt nicht, dass ich mir wünsche oder erwarte, dass meine Tochter mich ermordet. Ich hoffe, lange und gesund im Ruhestand zu leben und dann friedlich einzuschlafen, in dem Wissen, dass ich ihr in einer symbiotischen Beziehung mit dem Universum so gut wie möglich etwas hinterlassen habe.
  • „Es ist ihm egal, wenn die gesamte Menschheit stirbt“ wirkt wie eine harte und irreführende Darstellung seiner Position.
    Nach meinem Eindruck glaubt er eher, dass Menschen letztlich unvermeidlich durch Transhumane ersetzt werden. Das wirkt eher wie grober Science-Fiction-Utopismus als wie Bosheit und scheint kein Grund zu sein, seine wissenschaftlichen Leistungen nicht zu würdigen.
  • Es ist interessant, auf diese Sichtweise hinzuweisen, aber ich verstehe nicht, warum man jemandem nicht vertrauen oder ihn nicht feiern sollte, nur weil er Ansichten hat, denen man nicht zustimmt.
    Insbesondere wirkt die Andeutung, Sutton wünsche aktiv, dass alle sterben, sehr schwach belegt.
  • Auf seiner letzten Folie steht wörtlich „beste Hoffnung für die langfristige Zukunft der Menschheit“. Das ist das genaue Gegenteil der Behauptung.

• In einem Kurs, den ich unterrichtet habe, habe ich ihr Buch zu Reinforcement Learning verwendet. Es ist schön geschrieben und frei verfügbar: http://incompleteideas.net/book/the-book-2nd.html
  Die Sätze waren so gut, dass ich beim Lesen manchmal den eigentlichen Inhalt verpasst habe.

• Herzlichen Glückwunsch an Andrew Barto und Richard Sutton zum Turing Award. Als Student war Reinforcement Learning: An Introduction mein Einstieg in dieses Gebiet.
  Besonders Kapitel 6, Temporal Difference Learning, hat meine Sicht auf sequenzielle Entscheidungsfindung grundlegend verändert. Ein zeitloser Klassiker, den ich weiterhin nachdrücklich zur Lektüre empfehle.

• Eine lange erwartete Auszeichnung. Sie haben eine Idee von Anfang bis Ende durchgezogen und sie von einem Unterkapitel in einem Buch über dynamische Programmierung zu einem ganzen Fachgebiet gemacht.
  Ich würde mir wünschen, dass Reinforcement Learning in Spielen, wo all das ja auch begann, viel häufiger eingesetzt würde. Das wäre wirklich großartig.

• Ein verdienter Preis. Reinforcement Learning wird dank seiner Flexibilität zusammen mit neuronalen Netzen mit der Zeit immer wichtiger werden.
  Wenn man weiter skaliert, wird sich die bittere Lektion wohl gar nicht mehr so bitter anfühlen.