Die Nebenwirkungen übermäßiger Effizienz (2022)

 (sohl-dickstein.github.io)
6 Punkte von GN⁺ 2024-09-30 | 2 Kommentare | Auf WhatsApp teilen

Zu hohe Effizienz macht alles schlimmer: Overfitting und die starke Version von Goodharts Gesetz

Wenn die Effizienz steigt, können sich die Ergebnisse paradoxerweise verschlechtern. Das gilt fast überall. Dieses Phänomen soll als starke Version von Goodharts Gesetz bezeichnet werden. Zum Beispiel wirkt die zentralisierte Erfassung von Schülerleistungen mithilfe standardisierter Tests wie eine gute Idee, kann aber dazu führen, dass Schulen sich auf Testvorbereitung konzentrieren und dadurch die allgemeinen Bildungsergebnisse verschlechtern. Ähnliche Beispiele gibt es in vielen Bereichen wie Politik, Wirtschaft, Gesundheit und Wissenschaft.

Overfitting und Goodharts Gesetz

  • Overfitting: Im Machine Learning kann das eigentliche Ziel nicht direkt getroffen werden, daher wird ein ähnlicher Proxy verwendet, um ein Modell zu trainieren. Anfangs verbessert sich mit dem Proxy auch das Ziel, doch wenn die Optimierung weitergeht, wird der Proxy zwar besser, das Ziel verbessert sich jedoch nicht mehr. Das nennt man Overfitting.
  • Goodharts Gesetz: Wenn ein Messwert zum Ziel wird, ist er kein guter Messwert mehr. Das gilt nicht nur in der Ökonomie, sondern in vielen verschiedenen Bereichen.

Die starke Version von Goodharts Gesetz: Wenn wir zu effizient werden, verschlechtert sich das, was uns wichtig ist

  • Wenn ein Proxy-Ziel weiter optimiert wird, kann sich das eigentliche Ziel verschlechtern. Das ist im Machine Learning ein sehr verbreitetes Phänomen.
  • Die starke Version von Goodharts Gesetz: Wenn ein Messwert zum Ziel wird und effektiv optimiert wird, verschlechtert sich das, was gemessen werden sollte.

Zunehmende Effizienz und Overfitting gibt es überall

  • Steigende Effizienz kann in der gesamten Gesellschaft positive oder negative Folgen haben.
  • Beispiele:
    • Ziel: Kinder gut ausbilden
      • Proxy: Ergebnisse standardisierter Tests
      • Ergebnis: Konzentration nur auf Testvorbereitung, wodurch die tatsächliche Qualität der Bildung sinkt
    • Ziel: Schneller Fortschritt der Wissenschaft
      • Proxy: Boni nach Anzahl der Veröffentlichungen
      • Ergebnis: Mehr Veröffentlichung ungenauer Forschungsergebnisse
    • Ziel: Eine gesunde Bevölkerung
      • Proxy: Zugang zu nahrhaften Lebensmitteln
      • Ergebnis: Adipositasprobleme

Wie sich Overfitting und die starke Version von Goodharts Gesetz abmildern lassen

  • Proxy-Ziele und gewünschte Ergebnisse besser aufeinander abstimmen: Im Machine Learning werden Trainingsbeispiele gesammelt, die der Testsituation ähneln. In sozialen Systemen werden Gesetze, Anreize und soziale Normen verändert, damit sie besser zum Ziel passen.
  • Regularisierungsstrafe hinzufügen: Im Machine Learning wird die Größe der Parameter klein gehalten. In sozialen Systemen wird Komplexität reduziert oder es werden zusätzliche Kosten auferlegt.
  • Rauschen in das System einspeisen: Im Machine Learning wird zufälliges Rauschen zu Eingaben, Parametern und internen Zuständen hinzugefügt. In sozialen Systemen werden Zufallselemente ergänzt, um die Vorhersagbarkeit zu verringern.
  • Frühzeitiges Stoppen: Im Machine Learning wird das Training beendet, wenn sich der Validierungsverlust zu verschlechtern beginnt. In sozialen Systemen werden Entscheidungszeiten begrenzt oder Marktaktivitäten ausgesetzt.
  • Fähigkeit/Kapazität begrenzen: Im Machine Learning wird das Modell klein gehalten, um Overfitting zu verhindern. In sozialen Systemen wird die Kapazität von Organisationen oder Akteuren begrenzt.
  • Fähigkeit/Kapazität erhöhen: Im Machine Learning wird das Modell sehr groß gemacht, um Overfitting zu verhindern. In sozialen Systemen wird die Fähigkeit stark erhöht, um den Trade-off zwischen Ziel und Proxy zu beseitigen.

Abschließende Gedanken

Die starke Version von Goodharts Gesetz ist die grundlegende Ursache meiner persönlichen Angst vor KI. KI kann die Effizienz bei fast allen Aufgaben steigern. Es gibt viele Forschungsmöglichkeiten, um dieses Problem zu lösen. Wenn soziale Systeme wegen der starken Version von Goodharts Gesetz zusammenbrechen, wird es schwierig, vernünftige Maßnahmen zu ergreifen, um das Problem zu lösen. Es dürfte hilfreich sein, dieses Phänomen zu benennen und besser zu verstehen.

Zusammenfassung von GN⁺

  • Die starke Version von Goodharts Gesetz erklärt, dass sich Ziele verschlechtern können, wenn die Effizienz steigt.
  • Sie ähnelt dem Overfitting im Machine Learning und lässt sich auf viele verschiedene Bereiche anwenden.
  • Das Problem kann abgemildert werden, indem Proxy-Ziele und reale Ziele besser abgestimmt, Regularisierungsstrafen hinzugefügt und Rauschen in Systeme eingebracht wird.
  • Durch die steigende Effizienz von KI können verschiedene Nebenwirkungen entstehen, und es braucht Forschung, um sie zu lösen.
  • Es ist wichtig, die starke Version von Goodharts Gesetz zu verstehen und darauf zu reagieren, damit soziale Systeme nicht zusammenbrechen.

Verwandte Beiträge

2 Kommentare

 
gguimoon 2024-10-02

Soweit ich gehört habe, hat sich unser landesweiter Hochschulaufnahme-Test von seinem ursprünglichen Zweck, mathematische Fähigkeiten zu messen, entfernt und zu einem System entwickelt, das nur noch die Verteilung der Notengrenzen effizienter gestalten soll. Das scheint ein Beispiel dafür zu sein, nicht über Goodharts Gesetz hinauszukommen.
 
GN⁺ 2024-09-30
Hacker-News-Kommentare

  • Jascha ist ein herausragender ML-Forscher, der bei Google Brain gearbeitet hat und jetzt bei Anthropic ist

    • Bekannt für Forschung, die die Signalweiterleitung in tiefen neuronalen Netzen mathematisch erklärt
    • Erreichte die Konvergenz sehr tiefer Transformer-Modelle durch Konzepte wie „dynamical isometry“
    • Seine Optimierungsintuition reicht über ML hinaus in die moderne Gesellschaft insgesamt
    • Seine Botschaft geht über den technischen Hintergrund hinaus und ist ein menschlicher, empathischer Aufruf zum Handeln
    • Schlägt mathematische Verbindungen zwischen Overfitting-Problemen und anderen Bereichen wie Ökonomie, Politikwissenschaft und Betriebswirtschaft vor

  • Goodharts Gesetz besagt, dass ein Maß kein gutes Maß mehr ist, sobald es zum Ziel wird

    • Das Problem liegt nicht nur in der Messung, sondern auch im menschlichen Verhalten
    • Menschen versuchen, eingerichtete Kontrollsysteme auszunutzen
    • Campbells Gesetz erklärt dies besser
    • Gegenmaßnahmen wie Regularisierung und Early Stopping sind indirekt oder können neue Probleme verursachen

  • In Schweden ist das in den letzten 20 Jahren zu einem gesellschaftlichen Problem geworden

    • Die Effizienz im Gesundheitswesen wird an den „abgeschlossenen Aufgaben“ von Hausärzten gemessen
    • Optimiert für die Bearbeitung einfacher Fälle, wodurch der persönliche Kontakt verschwindet
    • Das Bahnsystem wurde privatisiert, leidet aber unter Verspätungen

  • In der Trainingsphysiologie gibt es ein ähnliches Gesetz

    • Allgemeine Trainingsmethodik liefert aussagekräftigere Kennzahlen
    • Bei spezialisierten Athleten bedeutet Leistungssteigerung nicht unbedingt eine Verbesserung der allgemeinen Fitness
    • Im Sport gibt es die Analogie von „Grundfitness“ und „Spitzenfitness“

  • Auch in der Warteschlangentheorie gibt es ein verwandtes Gesetz

    • Wenn die Auslastung sich 100 % nähert, steigen die Wartezeiten ins Unendliche
    • Es braucht Puffer

  • Fokussierung auf das BIP gefällt mir nicht

    • Vierteljährliche Umfragen zu Lebenszufriedenheit und Optimismus sind bessere Indikatoren
    • Das BIP bildet wirtschaftliche Aktivität ab, aber nicht die Lebensqualität

  • In einem lokalen Baumarkt ein Beispiel für dieses Gesetz gefunden

    • Die Installation von Diebstahlschutzkäfigen verschlechterte das Kundenerlebnis
    • Datengetriebene Entscheidungen führen nicht immer zu optimalen Ergebnissen

  • Beim Besuch von Systemgastronomie ähnliche Erfahrungen gemacht

    • Alles ist optimiert und wirkt mechanisch und künstlich
    • Der Fokus liegt auf Umsatzgenerierung statt auf dem Kundenerlebnis

  • Ich erinnere mich wieder an den Namen des Autors

    • Er erfand 2015 das erste generative Diffusionsmodell

  • Der Effekt existiert, aber die Beispiele sind nicht präzise

    • Eine übermäßige Betonung von Schulnoten unterscheidet sich vom eigentlichen Zweck von Bildung
    • Adipositas ist nicht das Ergebnis davon, nährstoffreiche Lebensmittel zu priorisieren
    • Zunehmende Ungleichheit hat nichts mit einer am gesellschaftlichen Bedarf orientierten Ressourcenverteilung zu tun
    • Mangel an Stimulation führt zu sensorischer Sucht oder Glücksspiel
    • Der Ausbau öffentlicher Bildung, Zuckersteuern und Vermögensumverteilung sind einfachere Lösungen