Richard Sutton und Andrew Barto erhalten den Turing Award 2024

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • ACM hat Andrew G. Barto und Richard S. Sutton als Preisträger des ACM A.M. Turing Award 2024 ausgewählt. Sie entwickelten die konzeptionellen und algorithmischen Grundlagen des Reinforcement Learning.
  • Barto ist emeritierter Professor für Information and Computer Sciences an der University of Massachusetts Amherst, Sutton ist Professor für Informatik an der University of Alberta.
  • Der Turing Award wird als Nobelpreis der Informatik bezeichnet und ist mit 1 Million US-Dollar dotiert, finanziert von Google.

• What is Reinforcement Learning?

  • Das Feld der Künstlichen Intelligenz (AI) konzentriert sich vor allem auf den Aufbau von Agenten, die wahrnehmen und handeln. Reinforcement Learning (RL) ist der Prozess, durch den solche Agenten anhand von Belohnungssignalen bessere Verhaltensweisen erlernen.
  • Die Grundlagen des Reinforcement Learning entstanden Anfang der 1980er Jahre, als Barto und Sutton auf Basis von Beobachtungen aus der Psychologie Reinforcement Learning als allgemeinen Problemrahmen formalisierten.
  • Sie entwickelten RL-Algorithmen unter Nutzung mathematischer Grundlagen auf Basis von Markov Decision Processes (MDP).

• Zentrale Beiträge

  • Barto und Sutton entwickelten die grundlegenden algorithmischen Ansätze des Reinforcement Learning, darunter insbesondere Temporal-Difference-Learning, Policy-Gradient-Methoden und Funktionsrepräsentationen für das Lernen mit neuronalen Netzen.
  • Ihr Lehrbuch "Reinforcement Learning: An Introduction" gilt weiterhin als Standardreferenz auf diesem Gebiet und wurde mehr als 75.000-mal zitiert.

• Praktische Anwendungen von Reinforcement Learning

  • Reinforcement Learning hat in den vergangenen 15 Jahren in Kombination mit Deep-Learning-Algorithmen große Fortschritte erzielt. Zu den bekanntesten Beispielen zählen AlphaGos Sieg im Go und die Entwicklung von ChatGPT.
  • Reinforcement Learning ist in vielen Bereichen erfolgreich, darunter das Erlernen motorischer Fähigkeiten bei Robotern, die Steuerung von Netzwerküberlastung, Chip-Design und die Optimierung von Internetwerbung.

• Neurowissenschaftliche Inspiration des Reinforcement Learning

  • Jüngste Forschungen haben gezeigt, dass bestimmte in der AI entwickelte Reinforcement-Learning-Algorithmen am besten zur Erklärung des Dopaminsystems im menschlichen Gehirn geeignet sind.

• Erklärung zum ACM A.M. Turing Award

  • Der Turing Award wird seit 1966 verliehen, um Informatiker und Ingenieure zu würdigen, die die Informationstechnologiebranche vorangebracht haben.

• Preisträger des ACM A.M. Turing Award 2024

  • Andrew Barto ist emeritierter Professor für Information and Computer Sciences an der University of Massachusetts Amherst und wurde mit zahlreichen Preisen ausgezeichnet.
  • Richard Sutton ist Professor für Informatik an der University of Alberta, war an verschiedenen Forschungseinrichtungen tätig und wurde mit mehreren Preisen geehrt.

[GN⁺]

Hacker-News-Kommentare

• Sehr cool. Meine Frau und ich haben das Haus von Andy Barto und seiner Frau gekauft.

  • Beim Kaufprozess gab es einen Bieterkrieg.
  • Als ich wusste, dass er Mathematiker ist, habe ich ein Angebot mit einer Primzahl abgegeben.
  • Es freut mich wirklich, dass seine Leistungen anerkannt werden.

• Großartig! Sehr verdient. Sie stellen beide Ausgaben ihres RL-Lehrbuchs kostenlos als PDF zur Verfügung.

  • Ich arbeite seit 1982 praktisch mit KI, und RL war für mich persönlich ein schwer zu meisterndes Thema.
  • Das Buch von Sutton/Barto, die Coursera-RL-Vorlesungen von Professor White usw. waren eine große Hilfe: Empfehlung.
  • Die Beispielprogramme aus ihrem Buch sind in Common Lisp und Python verfügbar.

• Ein guter Zeitpunkt, „The Bitter Lesson“ noch einmal zu lesen.

• Sutton ist ein Human-Successorist und es ist ihm egal, wenn alle Menschen sterben. Er ist nicht vertrauenswürdig und niemand, den man feiern sollte.

• Es wäre besser gewesen, Physikern den Preis zu geben.

• Es überrascht mich, dass Sutton in Edmonton, Kanada, statt in den USA lebt.

  • Das zeigt, dass er Wahrheit und Aufrichtigkeit höher schätzt als Ruhm und Geld.

• Sie sind großartig, aber leider ist das KI-Buch von Sutton und Barto wirklich schlecht.

  • Trasks Grokking Machine Learning und ein paar Monate lang ML-Paper nachzubauen wären besser.

• In meinem unterrichteten Kurs habe ich ihr RL-Buch verwendet.

  • Es ist wunderschön geschrieben und kostenlos verfügbar.
  • Ich habe mich oft so sehr auf die schöne Prosa konzentriert, dass mir der eigentliche Inhalt entgangen ist.

• Herzlichen Glückwunsch an Andrew Barto und Richard Sutton zum Turing Award.

  • Als Student war ihr Lehrbuch Reinforcement Learning: An Introduction mein Einstieg in dieses Gebiet.
  • Kapitel 6 über „Temporal Difference Learning“ hat meine Denkweise über sequentielle Entscheidungsfindung grundlegend verändert.
  • Es ist ein Klassiker, den ich auch heute noch sehr zum Lesen empfehle.

• Das war längst überfällig. Sie haben die Idee von Anfang bis Ende konsequent verfolgt und daraus ein ganzes Feld gemacht, statt nur ein Unterkapitel in einem Buch über dynamische Programmierung.

  • Ich wünschte, mehr Spiele würden tatsächlich RL verwenden – dort hat das alles angefangen – das wäre wirklich cool.