Wie AI-Forschende Energie sparen können: zurück zum Zurückspulen

• Reversible Computing ist ein theoretischer Ansatz, bei dem Berechnungen rückwärts ausgeführt werden, um Energie zu sparen, ohne Daten zu löschen; er gilt als vielversprechende Alternative zur Lösung des Energieverbrauchsproblems von AI
• Herkömmliche Computer geben beim Löschen von Informationen zwangsläufig Wärme (Energie) ab; aufgrund einer physikalischen Grenze (Landauer-Prinzip) lässt sich das nicht vermeiden
• Das Konzept der Uncomputation behält nur das Berechnungsergebnis und macht den Rest der Berechnung rückgängig, sodass Informationen ohne Verlust verarbeitet werden; praktische Grenzen wie Geschwindigkeit und Speicheraufwand bleiben jedoch bestehen
• Jüngst wurde empirisch gezeigt, dass bei Aufgaben mit viel Parallelverarbeitung wie in AI der Betrieb vieler langsamer reversibler Chips große Energieeinsparungen bringen kann
• Industrie und Forschung treiben inzwischen die Entwicklung tatsächlich kommerziell nutzbarer reversibler Chips voran, wodurch eine Revolution der Energieeffizienz von AI realistischer wird

---

Der grundlegende Energieverlust bei Computerberechnungen

• Wenn ein Computer zwei Zahlen addiert, etwa 2 + 2 = 4, bleiben aus zwei Eingaben nur eine Ausgabe übrig
• Dabei geht ein Teil der Information verloren, die Berechnung wird irreversibel, und die gelöschte Information wird zu Wärmeenergie
• Da die meisten Computer so arbeiten, ist ein gewisser Informationsverlust (Wärmeentwicklung) grundsätzlich unvermeidbar

Landauers Vorschlag des reversiblen Computings und seine Grenzen

• Landauer dachte über eine Form des Computings nach, die Energieverluste reduziert, indem alle Rechenergebnisse ohne Informationslöschung gespeichert werden
• Er stellte jedoch fest, dass ein solcher Computer praktisch schnell den Speicher füllen und daher an Praxistauglichkeit verlieren würde
• Landauer kam letztlich zu dem Schluss, dass reversibles Computing eine Sackgasse sei

Bennetts Idee der Uncomputation (Rückwärtsberechnung)

• Charles Bennett von IBM schlug 1973 vor, nur das Berechnungsergebnis zu speichern und den Rest durch rückwärts ausgeführte Berechnungsschritte (Uncomputation) zu löschen
• Wie in der Metapher von Hänsel und Gretel, die ihre Brotkrumen wieder einsammeln, lässt sich nur die benötigte Information behalten und der Rest ohne Informationsverlust entfernen
• Dieser Ansatz galt als ineffizient, weil er die Rechenzeit verdoppelt

Studien, die die Praxistauglichkeit erhöhten

• Bennett zeigte 1989, dass sich die Rechenzeit mit etwas mehr Speicher deutlich verringern lässt
• Danach forschten Wissenschaftler kontinuierlich an Optimierungen von Speicher und Zeit
• Allerdings geht in Computern nicht nur durch Datenlöschung Energie verloren, sondern auch durch Ineffizienzen in der Art der Transistorverschaltung
• Für den Bau eines praktisch nutzbaren energieeffizienten reversiblen Computers ist daher von Anfang an ein wärmearmes Design erforderlich

MITs Prototyp-Chip und die Reaktion der Industrie

• In den 1990er Jahren bauten Ingenieure am MIT einen Prototyp-Chip mit höherer Schaltungseffizienz
• Frank war als Doktorand beteiligt und wurde später zu einem der prägenden Forscher im Bereich des reversiblen Computings
• Doch in einer Industrie, in der sich die Leistung konventioneller Chips rasant verbesserte, blieb die Unterstützung wegen des mangelnden Interesses der Industrie an theoretischen Alternativen gering
• Auch Frank legte seine Forschung zeitweise beiseite und suchte andere Wege
• Als die Miniaturisierung von Schaltungen an ihre Grenzen stieß, nahm das Interesse an Energieeffizienzfragen jedoch stark zu

Energieeffizienz des reversiblen Computings und mögliche AI-Anwendungen

• 2022 analysierte Hannah Earley aus Cambridge die Energieeffizienz reversibler Computer im Detail
• Reversible Computer erzeugen weniger Abwärme als herkömmliche Systeme, völlige Wärmefreiheit ist jedoch unmöglich
• Besonders wichtig: Sie zeigte, dass reversible Computer umso weniger Wärme abgeben, je langsamer sie laufen
• Da AI-Berechnungen in parallelisierten Umgebungen stattfinden, lässt sich erwarten, dass durch langsamer laufende einzelne Chips und eine höhere Zahl an Chips der gesamte Energieverbrauch sinkt
• Durch die geringere Geschwindigkeit sinken auch die Kühlkosten, was zusätzlich dichtere Chip-Packung sowie Einsparungen bei Platz und Materialien ermöglichen könnte

Kommerzialisierung und Ausblick

• Da Investoren aufmerksam werden, gründeten Earley und Frank Vaire Computing und begannen mit der Entwicklung kommerzieller reversibler Chips
• Mogensen von der Universität Kopenhagen und andere äußerten große Erwartungen daran, dass reversible Prozessoren tatsächlich im Arbeitsalltag eingesetzt werden
• Damit steht reversibles Computing, das jahrzehntelang vor allem Theorie war, im Fokus als möglicher Treiber realer Innovationen bei AI und Energieeffizienz

Fazit

• Reversible Computing gilt als praktischer Weg, die physikalische Grenze von Computern zu überwinden, wonach beim Löschen von Informationen Wärme entsteht, und rückt damit als große Energiespartechnologie im AI-Zeitalter in den Fokus
• Der Betrieb von Chips langsamer und parallel passt zu den strukturellen Eigenschaften von AI-Berechnungen und bringt die tatsächliche Kommerzialisierung näher

[GN⁺]

Hacker-News-Kommentare

• In Stephen Baxters Roman Time gibt es in einer extrem fernen Zukunft, nachdem alle Sterne erloschen und alle Schwarzen Löcher verdampft sind, Nachfahren der Menschheit, die in einem Universum maximaler Entropie zurückbleiben. In einem Zustand, in dem freie Energie vollständig erschöpft ist, leben diese Nachfahren weiter, indem sie in einer gigantischen Simulation nur reversible Operationen ausführen, die ohne Energieverbrauch arbeiten, und dabei dieselben Ereignisse wiederholen. Das Konzept besteht darin, die Rechenergebnisse zu „uncomputen“ und anschließend erneut zu „computen“, sodass sich dieselbe Ereignisschleife wiederholt

• Aus Sicht eines Softwareingenieurs ist das nicht ganz leicht zu verstehen. Verwirrend sei zunächst die Vorstellung, dass beim Löschen von Information Elektronen „verloren gehen“. Elektronen würden schließlich überall „verloren gehen“, und da die meisten Gatter durch Verneinung von Strömen arbeiten, stellt sich die Frage, ob all diese Vorgänge problematisch sind. Außerdem wird bezweifelt, warum sich Wärmeverluste verhindern lassen sollten, wenn man einfach alle Speicherzustandsänderungen protokolliert. Wenn sämtlicher Speicher dauerhaft erhalten bleiben muss, würde das nicht noch mehr Energie verbrauchen? Und warum sollte es praktisch überhaupt nötig sein, in einer Berechnung in die Vergangenheit zurückzugehen?

  • Theoretisch kann ein Computer, der keine Information vergisst, mit nahezu keinem Strom auskommen und entsprechend auch nahezu keine Wärme erzeugen. Solche Computer gehören zum reversiblen (adiabatischen) Computing; alle Rechengatter müssen dafür umkehrbar sein. Nur in sehr frühen und sehr späten Phasen, etwa beim Setzen des Eingangszustands und beim Kopieren der Ausgabe, wird weiterhin Energie benötigt. In der Praxis entsteht der größte Teil des Stromverbrauchs jedoch nicht durch das „Löschen“ von Information in Logikgattern, sondern durch Verluste etwa im Leitungswiderstand. Für eine vollständig reversible CPU wären daher spezielle Hardware wie supraleitende Leitungen oder Bauteile nötig. Außerdem muss die Berechnung wieder zurückgerollt werden, was ebenfalls nicht einfach ist; alternativ löscht man Zustände und akzeptiert den Energieverbrauch. Als reales Beispiel lassen sich Quantencomputer nennen, bei denen alle Quantengatter reversibel sind und sich rückwärts ausführen lassen

  • Aus thermodynamischer Sicht erreichen reversible Prozesse theoretisch den maximalen Wirkungsgrad; das hängt mit Entropie zusammen. Sobald Information gelöscht wird, ist der Prozess nicht mehr reversibel, und Wärmeerzeugung wird unvermeidlich. Allerdings ist all das streng theoretisch, und reale Computer liegen von dieser Grenze weit entfernt. Die meisten realen Logikbausteine wie AND, OR oder NAND sind, isoliert betrachtet, irreversible Operationen

  • Es wird darauf hingewiesen, dass nichtflüchtige Speicher wie Festplatten oder SSDs überhaupt keinen Strom benötigen, um Daten zu behalten, und daher auch keine Wärme erzeugen. Energie wird unvermeidlich erst dann benötigt, wenn Daten gelöscht oder überschrieben werden; dabei entsteht viel Wärme. Die Wärmeabfuhr sei ein Hindernis für noch feinere Chip-Skalierung. Wenn sich Computer bauen ließen, die Informationen nicht löschen, könnte die Wärmeentwicklung stark sinken, was höhere Chip-Leistung, niedrigeren Stromverbrauch und neue Skalierungsmöglichkeiten eröffnen würde

• Beim Motiv der Energieeinsparung besteht etwas Skepsis. Dennoch ist die Implementierung reversibler Deep-Learning-Architekturen an sich ein recht spannendes Forschungsthema. Tatsächlich wurde das etwa 2019 bis 2021 in der invertibleworkshop-Reihe intensiv diskutiert. Auch die heute populären Diffusion-Modelle lassen sich als Spezialfall kontinuierlicher normalizing flows betrachten und wären theoretisch damit rechnerisch reversibel. Die in der Produktion eingesetzten distillierten Modelle sind es aber wohl fast nie. Auch Simulationen von Differentialgleichungen lassen sich wegen Rundungsfehlern bei Gleitkommazahlen in der Praxis meist nicht exakt rückwärts rechnen; mit genügend Sorgfalt sind jedoch bitgenau vollständig reversible Simulationen möglich

  • Es gibt auch eine Arbeit aus dem Jahr 2015, in der es im Machine Learning nützlich war, Berechnungen exakt zurückdrehen zu können

• Es wird darüber nachgedacht, was es überhaupt bedeutet, dass Berechnungen eine Richtung haben. Das wirkt zunächst wie Kausalität, scheint aber eigentlich eher eine Frage von Ein- und Ausgabe zu sein. Letztlich müsse man ein Programm wohl einfach erst ausführen; wenn man Zustände speichert, fühle es sich vor allem so an, als werde Backtracking leichter

  • Ja, aber hier geht es um die physikalische Ebene, daher ist separate Hardware nötig. Das Löschen von Information, etwa bei einer AND-Operation, erzeugt Wärme, weshalb andere Logikgatter wie das Fredkin-Gatter benötigt werden

  • Eigentlich hat jede Berechnung eine Richtung. Das Thema wird als äußerst faszinierend beschrieben. Schon eine Funktion f(x) -> y gibt eine Richtung vor. Natürlich wäre es schön, wenn die Umkehr immer möglich wäre, aber es gibt viele Fälle ohne Inverse. Bei f(x)=mx+b lässt sich die Umkehrfunktion leicht finden, solange m≠0 gilt. Dagegen ist bei f(x)=x^2 die Rekonstruktion von x aus f(x) nicht eindeutig, weil sowohl +x als auch -x infrage kommen. Hier greifen die Konzepte von Bild und Urbild einer Funktion. Das steht auch in engem Zusammenhang mit dem Problem P=NP. Im Machine Learning sind Normalizing Flows invertierbar, Diffusion-Modelle haben reversible Strukturen, und persönlich wird kritisiert, dass die ML-Community für solche Themen den Begriff „inverse problem“ verwendet. Wer dieses Konzept versteht, versteht auch, warum Vorhersagen oft nur in eine Richtung zuverlässig sind und die Umkehr scheitert. Letztlich führt das zur Kausalinferenz. In der Physik ist es ein zentrales Ziel, durch Umformung von Gleichungen Kausalitätskarten zu erstellen, aber bei Entropie und Quantenmechanik treten eigene Schwierigkeiten auf. Als Beispiel wird genannt, dass bei der Rückrechnung des Zustands von Gasmolekülen nicht eine eindeutige Lösung, sondern viele mögliche Zustände entstehen. Wie beim Beispiel von Differentiation und Integration ist Differentiation nicht reversibel, weil f(x)+C stets denselben Ableitungswert liefert, also Information nur in eine Richtung verloren geht. Wenn man Zustände zu mehreren Zeitpunkten sampelt, kann sich der Lösungsraum allerdings stark verkleinern

  • Zusammengefasst gilt: Wenn irreversible Operationen, also das Löschen von Information, minimiert werden, sind reversible Berechnungen möglich. Beispiel: Bei 2 + 2 + 2 ist die Berechnung reversibel, wenn alle Zwischenschritte mitgespeichert werden. Bleibt dagegen nur das Endergebnis erhalten und die Historie wird gelöscht (6 bleibt übrig), ist der Vorgang irreversibel

• Es wird erwähnt, dass man Mike P. Frank auf Twitter fortlaufend folgt und dort häufig interessante Aussagen zu reversiblem Computing und KI sieht: MikePFrank auf Twitter

• Es wird gehofft, dass diese Technik nützlich sein könnte, wenn softwareseitige Trends rund um GPU-Rechenzentren wieder umschwenken. Allerdings wird bezweifelt, dass sie am Ende einen Wendepunkt darstellt, weil vermutlich das Jevons-Paradoxon greift: Effizienzsteigerungen erhöhen die Nachfrage, sodass tatsächliche Energieeinsparungen ausbleiben

• Es wird nach einem konkreten Plan gefragt und danach, ob es bereits Demonstrationen von reversiblem Matrix-Multiplikationsverfahren gibt. Schon dabei scheint es unrealistisch, Informationslöschung in Zwischenschritten zu vermeiden

  • Für reversible Matrizen gibt es reversible Matrixmultiplikation, aber für irreversible Operatoren wie ReLU nicht. Und ob, wie im Artikel behauptet, allein das Rückwärtsrechnen den Energieverbrauch senken kann, ist ebenfalls schwer nachvollziehbar

• Beim Lesen der Artikelüberschrift wirkte es ironisch, dass die betreffende Webseite selbst auf einem modernen Computer 12 Sekunden zum Laden brauche. Viele Menschen kümmerten sich generell wenig um die Probleme anderer, und wenn neue Technologien wie KI auftauchen, würden die gesellschaftlichen Kosten — Umwelt, persönliche Arbeitsplätze, Infrastruktur, Urheberrechtsverletzungen, soziale Systeme — tendenziell externalisiert. Wenn man Effizienz gewinnt, nutzt man sie am Ende eher noch stärker für sich selbst, statt den Schaden für andere zu verringern, was als bitter empfunden wird

• Es sei bereits mehrfach gezeigt worden, dass selbst die mehrfache Nutzung eines LLM weniger Strom verbraucht als das Erhitzen von Wasser in einem Wasserkocher