Die verborgene Geschichte hinter dem Energie-Fußabdruck von KI

• Der Energieverbrauch pro einzelner KI-Abfrage mag gering erscheinen, doch weltweit summieren sich Milliarden von Anfragen zu einem Ausmaß, das das Stromnetz real beeinflusst
• Führende KI-Unternehmen beschleunigen Investitionen in Rechenzentren und Strominfrastruktur im Wert von mehreren zehn Billionen Won, einige planen sogar den Bau von Kernkraftwerken
• Der Energieverbrauch von KI-Abfragen unterscheidet sich je nach Modellgröße und Komplexität um ein Vielfaches bis hin zu mehreren Hundertfachen, und bei proprietären Modellen ist der genaue Verbrauch fast unbekannt
• Der von KI genutzte Strom stammt größtenteils aus fossil betriebenen Stromnetzen, wodurch die CO2-Emissionsintensität 48 % über dem Durchschnitt liegt
• Wenn sich die Nutzung von KI weiter kontinuierlich ausweitet, dürfte 2028 mehr als die Hälfte des Stroms von US-Rechenzentren für KI verwendet werden

---

Making the Model: Der Ausgangspunkt des KI-Modelltrainings

• KI-Modelle werden über mehrere Monate hinweg in Rechenzentren trainiert und verbrauchen dabei Dutzende Gigawattstunden Strom
• Allein das Training von GPT-4 erforderte mehr als 50 Millionen US-Dollar und 50 GWh Strom, genug, um ganz San Francisco drei Tage lang zu versorgen
• Inference macht 80~90 % des gesamten Stromverbrauchs von KI aus, und die Rolle von Rechenzentren mit GPU-Schwerpunkt ist dabei zentral
• NVIDIAs H100-GPU steht im Zentrum von KI-Inference-Workloads und arbeitet in Form von Clustern aus Tausenden miteinander verbundenen Einheiten

A Query: Wie viel Energie eine einzelne Frage verbraucht

• Selbst beim gleichen KI-Modell unterscheiden sich Energieverbrauch und CO2-Ausstoß je nach Fragetyp, Standort und Tageszeit massiv
• Das Modell Llama 3.1 8B verbraucht im Durchschnitt 114 Joule (J), Llama 3.1 405B 6.706 Joule
• Die Erzeugung eines einzelnen Bildes mit Stable Diffusion 3 Medium verbraucht 2.282 Joule; bei hochauflösenden Bildern oder Videos steigt der Bedarf auf Zehn- bis Hunderttausende bis hin zu Millionen Joule
• Videogenerierung verbraucht mehr als 700-mal so viel Energie wie Bilder, und wenn KI-Videogenerierung künftig massentauglich wird, könnte der Stromverbrauch stark ansteigen

Fuel and Emissions: Woher der von KI genutzte Strom kommt

• KI-Rechenzentren lassen sich schwer mit intermittierenden Energiequellen wie Solar- und Windkraft betreiben und nutzen daher im Durchschnitt Strom mit höherer CO2-Intensität
• Beispiel: 2024 stammten in den USA 60 % des gesamten Stroms aus fossilen Brennstoffen, 20 % aus Kernenergie und die restlichen 20 % aus erneuerbaren Energien
• Zwischen Regionen wie Kalifornien und West Virginia gibt es nahezu doppelt so hohe Unterschiede bei den CO2-Emissionen
• Meta, Google und Amazon haben zwar gemeinsame Investitionen in den Ausbau von Kernkraftwerken angekündigt, doch bis zur Fertigstellung werden Jahrzehnte vergehen

AI around the corner: Die bevorstehende Massenverbreitung von KI und der starke Energieanstieg

• ChatGPT ist derzeit die fünfthäufigst besuchte Website der Welt und verzeichnet mehr als 1 Milliarde Abfragen pro Tag
• Schätzungen zufolge benötigt eine einzelne GPT-Abfrage 1.080 Joule Energie; pro Jahr sind das 1.090 GWh = genug Strom, um 10.400 US-Haushalte ein Jahr lang zu versorgen
• Einschließlich Video und Bildern kommen jährlich mehr als 35 GWh zusätzlich hinzu; mit dem Durchbruch von KI-Agenten, Sprachmodus und videobasierter KI-Erkennung dürfte das weiter steigen
• Eine Zukunft, in der KI selbstständig Aufgaben ausführt und mit Nutzerdaten personalisiert wird, lässt sich beim Energiebedarf nicht mehr auf Ebene einzelner Abfragen erklären

The Future Ahead: Prognosen zum Energiebedarf bis 2028

• US-Rechenzentren für KI verbrauchten 2024 76 TWh, entsprechend 7,2 Millionen Haushalten
• Bis 2028 werden 165~326 TWh erwartet, was dem Stromverbrauch von 22 % aller US-Haushalte entspricht
• Das entspricht den CO2-Emissionen von 300 Milliarden gefahrenen Meilen, und der Anteil der Rechenzentren am Stromverbrauch dürfte sich von 4,4 % auf 12 % fast verdreifachen
• SoftBank, OpenAI und andere investieren rund 500 Billionen Won in Rechenzentren und Strominfrastruktur und errichten weltweit Infrastruktur in der Größenordnung von Fußballfeldern

Transparency Gap: Fehlende Offenlegung von Kennzahlen und die Belastung für Bürger

• Die meisten KI-Unternehmen veröffentlichen den Energieverbrauch ihrer Modelle bei der Inference nicht, was zu mangelnder öffentlicher Vorhersehbarkeit führt
• Auch die US-Energiebehörde (EIA) behandelt KI nicht als eigene Branche, weshalb die Statistik lückenhaft ist
• Laut einem Bericht des Bundesstaats Virginia könnten sich die monatlichen Stromkosten normaler Haushalte durch die Energiekosten von Rechenzentren um 37,5 US-Dollar erhöhen
• Die Kosten der KI-Infrastruktur könnten letztlich von den Bürgern getragen werden, weshalb eine gesellschaftliche Debatte notwendig ist

[crawler]

Es wirkt schon beeindruckend, dass Google Gemini tatsächlich auf den eigenen TPUs läuft...

[GN⁺]

Hacker-News-Kommentare

• Geteilter Link: http://archive.today/mnHb8

• Erwähnt wird die Meldung, dass Tech-Unternehmen wie Meta, Amazon und Google als Reaktion auf das Problem fossiler Brennstoffe Ziele zum Einsatz von Kernenergie angekündigt haben, und erklärt wird, dass sich alle drei Unternehmen einer Zusage angeschlossen haben, die weltweite Kernenergiekapazität bis 2025 zu verdreifachen. Angemerkt wird jedoch, dass dieses Datum nach Maßgabe des gestrigen Artikels etwas seltsam wirkt; tatsächlich sei 2050 das Ziel. Es wird darauf hingewiesen, dass der Artikel solche merkwürdigen Stellen und einen übermäßigen Gebrauch von „Experten“-Quellen enthält, zugleich wird aber positiv bewertet, dass sich überhaupt jemand bemüht hat, dieses Thema zu quantifizieren.

  • Das Merkwürdigste an diesem Artikel ist, dass Big-Tech-Unternehmen sich weigern, solche Daten offenzulegen. Man sollte Experten nicht zum Schätzen zwingen; bei Entscheidungen mit weltweiten Auswirkungen braucht die Gesellschaft Zugang zu Informationen.

  • Es wird Neugier geäußert, ob diese seltsamen Stellen einfach Tippfehler sind oder ob sie wirklich so merkwürdig gemeint waren.

• Früher, wenn man Beiträge ins Usenet stellte, gab es stets eine Warnmeldung wie: „Dieses Programm überträgt Nachrichten an Tausende Computer auf der ganzen Welt. Ihr Beitrag verursacht im Netzwerk Kosten von Hunderten oder Tausenden Dollar. Bitte prüfen Sie sorgfältig, ob Sie wirklich posten wollen.“ Es wird überlegt, ob so eine Warnung heute auch LLM-Clients brauchen könnten, etwa in Form einer Berechnung, wie viel atmosphärischer Kohlenstoff eine einzelne Anfrage verursacht.

  • In manchen Ländern gibt es eine Kultur des „Rolling Coal“ (übermäßige Rußemissionen von Autos). Es besteht die Sorge, dass eine solche Warnung sogar einen gegenteiligen Effekt haben könnte.

  • Die zitierte Warnmeldung vermittle eher die gegenteilige Bedeutung; vermutlich sei der Grund, warum solche Warnungen verschwanden, dass die Kosten drastisch gesunken sind. Ähnliches könnte auch für AI gelten.

  • Das erinnert an die riesigen Fußzeilen in E-Mails, die vor dem Ausdrucken an die Umweltfolgen erinnern sollten; geteilt wird die Erfahrung, dass dadurch in der Praxis nur unnötig eine zusätzliche Seite verbraucht wurde.

  • Diese Warnmeldung sei interessant: Nicht die Nachricht selbst verursache hohe Kosten, sondern die Computer, die sie übertragen. Je mehr Nachrichten übertragen werden, desto niedriger würden die Kosten pro Einheit.

  • Es wird betont, dass es unfair ist, nur AI-Technologie wegen ihres Energieverbrauchs zu kritisieren, solange nicht an alles eine solche Warnung gehängt wird.

• Der Kern sei wohl, Emissionskosten im Strompreis zu internalisieren; individuelles Grübeln der Nutzer sei eher Ablenkung. Da Verkehr, Heizung und Industrie ohnehin elektrifiziert werden und die Nachfrage dadurch stark steigen wird, müsse Strom schnell dekarbonisiert werden.

  • Zustimmung, aber auch die Senkung des Verbrauchs oder Effizienzverbesserungen seien ein wichtiger Teil der Energiewende; was nicht genutzt wird, muss auch nicht erzeugt werden.

  • Um solche Kosten zu internalisieren, müsste sich die Gesellschaft zuerst darauf einigen, was Emissionskosten überhaupt sind. Realistisch gesehen sei es einfacher, Strom sehr reichlich und effizient verfügbar zu machen; die Gesellschaft selbst lasse sich nicht so leicht verbessern.

• „DeepSeek hat 600 Milliarden Parameter, nutzt aber tatsächlich eine Mixture-of-Experts-Struktur, sodass pro Token nur etwa 12,5 % verwendet werden (wenn ich mich richtig erinnere).“ Ohne diesen Hinweis leide die Glaubwürdigkeit des Textes, heißt es. Geteilt wird die bisher vertrauenswürdigste Analyse zum Energieverbrauch von Texten (epoch.ai-Link): durchschnittlich 0,3 Wh für normale Fragen und bis zu 40 Wh bei maximalem Kontext. Die meisten Nutzungen lägen weit darunter, sodass der Energieverbrauch von Text im Verhältnis zum Nutzen eher klein sei. Videogenerierung dagegen verbrauche sehr viel Energie. Es wird auch Interesse an solchen Kennzahlen für LLM-basierte Codegenerierung geäußert.

• Die Anzahl der Kommentare in diesem Thread, die einen enormen Energieverbrauch rechtfertigen, und die Tatsache, dass diese Technologie derzeit für enorm nutzlose Dinge wie Text- und visuellen Spam eingesetzt wird, stehen in auffälligem Kontrast zur Energiedebatte bei Krypto. Es wirke fast so, als werde das toleriert, weil Big-Tech-Unternehmen wichtige Arbeitgeber sind.

  • AI habe zumindest theoretische Vorteile, während Krypto schon vom Design her verschwenderisch sei. Aber auch bei AI sei die tatsächliche Kosten-Nutzen-Struktur noch unklar.

  • Bei Bitcoin steige der Energieverbrauch mit dem Preis, während die Kosten für LLM-Inferenz schnell sinken (Referenzlink). Unternehmen wie Apple und Google versuchten zudem, eigene Rechenzentren und On-Device-AI einzusetzen. Gleichzeitig würden aber auch immer kostspieligere Algorithmen weiterentwickelt. Die meisten Anwendungen könnten jedoch irgendwann so günstig werden, dass sie selbst auf Geräten mit Batteriebeschränkung wie Laptops und Smartphones laufen.

  • Die Verbindung zum Krypto-Boom sei interessant; wenn solche Strömungen einmal begonnen haben, lassen sie sich wegen der menschlichen Natur nicht leicht umkehren.

  • Es wird die Erinnerung geteilt, dass die Stimmung zu Krypto auf HN früher nicht so negativ war wie heute.

  • Ein Scherz darüber, dass der Energieverbrauch von Krypto, insbesondere Bitcoin-PoW, wirklich Verschwendung sei.

• Es sei ironisch, diesen Beitrag zu lesen, während auf dieser Seite wegen undurchsichtigen JavaScripts die CPU voll ausgelastet wird, obwohl eigentlich gar nichts passiert.

  • Wünschenswert wäre, dass Browser die CPU-Nutzung jeder Seite strikt begrenzen und bei zusätzlichem Bedarf an CPU-Ressourcen ähnlich wie bei der Kamera ausdrücklich um Erlaubnis fragen.

  • Schon vor dem Mittagessen beim Lesen desselben Artikels sei ein ähnlicher Gedanke aufgekommen; dazu wird ein Blogbeitrag über tabdouse geteilt, zusammen mit dem Hinweis, dass es Tricks wie cgroups gibt, diese aber nicht vollkommen zufriedenstellend seien.

• Momentan wirke AI wie die „Mainframe“-Ära der frühen Computer: riesige Maschinen, die einen ganzen Raum füllen, enorme Mengen Strom verbrauchen und trotzdem weniger leisten als heutige Smartphones. Es wird erwartet, dass Modelle bald effizienter und Hardware spezialisierter werden. Lokale Inferenz über AI-spezifische Chips könnte den Energieverbrauch für die meisten Aufgaben stark senken, sodass große Rechenressourcen sich auf komplexe wissenschaftliche Probleme konzentrieren könnten, was als bedeutsam angesehen wird.

  • Oft werde die Entwicklungskurve von CPUs (exponentielles Wachstum) zitiert, doch in anderen Bereichen gelte das kaum. Halbleiter konnten nur unter ganz besonderen glücklichen Bedingungen so wachsen; für Batterien, Kernfusion oder Quantencomputing gelte das nicht. Bei Halbleitern seien die leicht erreichbaren Fortschritte bereits weitgehend ausgeschöpft, daher sei es unwahrscheinlich, dass auch AI-Effizienz so rasant wächst. Realistischer sei über Jahrzehnte ein langsamer, schrittweiser Fortschritt. Es gebe keinen Weg, den Bedarf an Milliarden Parametern und Billionen Rechenoperationen plötzlich verschwinden zu lassen. Vielleicht sei photonisches Computing eine Möglichkeit?

  • Die Rede von „AI-spezifischen Chips“ sei persönlich schwer nachvollziehbar; LLMs seien von vornherein auf GPUs zugeschnitten, die Hardware existiere also bereits. Das Problem sei, dass GPUs immer größer, heißer und stromhungriger werden. Wenn es etwas Besseres als GPUs gäbe, wäre man längst dorthin gewechselt. Wenn sich mit einer Rückkehr zur CPU Effizienz gewinnen ließe, hätte sich das schon durchgesetzt.

  • Überraschend sei, dass auf einem alten Laptop (7 Jahre) ein kleines Gemma-Modell ziemlich problemlos läuft. Es wird die Möglichkeit erwogen, nur bestimmte Aufgaben an ein LLM auszulagern und den Rest von klassischer Software erledigen zu lassen, um die Effizienz zu verbessern.

• Das sei der beste Text zum Energieverbrauch von AI, den man bisher gesehen habe; besonders eindrucksvoll sei, dass Big Tech die für gesellschaftliche Entscheidungen nötigen Daten nur ungern bereitstellt. Empfohlen wird die Podcast-Reihe Data Vampires, die tiefer in das Thema einsteigt.

• Interessant sei die Aussage im Artikel, dass sich Rechenzentren seit der Einführung von AI im Jahr 2017 mit energieintensiver Hardware aufgebaut hätten und ihr Stromverbrauch sich bis 2023 verdoppelt habe. Der eigentliche Boom generativer AI habe jedoch erst nach dem Erscheinen von ChatGPT im November 2022 richtig begonnen; der größte Teil des AI-Wachstums von 2017 bis 2022 sei vermutlich noch keine generative AI gewesen.

  • 2017 war das Jahr nach AlphaGos Sieg über Lee Sedol und zugleich das Erscheinungsjahr des Papers „Attention Is All You Need“; in der Industrie gab es also bereits klare Vorzeichen. OpenAI habe 2022 nur den Product-Market-Fit geschafft, die Branche sei keineswegs ziellos umhergeirrt.

  • Ungefähr zu dieser Zeit begann auch der ernsthafte Einsatz von GPUs für Machine Learning.

  • Meta setzte AI bereits aktiv in allen Bereichen seiner Dienste ein, etwa bei Suche, Empfehlungen und Graphen. Deshalb standen schon vor dem LLM-Hype Zehntausende bis Hunderttausende GPUs bereit, was dem Unternehmen eine vorteilhafte Position für große Projekte wie Llama verschaffte.