Neuer L-Mul-Algorithmus soll den AI-Stromverbrauch um 95 % senken

• BitEnergy AI behauptet, dass sich der Stromverbrauch um bis zu 95 % senken lässt, wenn man Floating-Point-Multiplikation (FPM), eine Kernoperation der AI-Verarbeitung, durch Ganzzahladdition ersetzt
• Linear-Complexity Multiplication (L-Mul) zielt darauf ab, mit einfacheren Operationen Ergebnisse nahe an FPM zu liefern und dabei Genauigkeit und Präzision zu erhalten
• Das Potenzial für eine bessere Energieeffizienz ist groß, aber aktuelle Mainstream-Hardware wie Nvidias Blackwell GPU wurde nicht für die Ausführung dieses Algorithmus ausgelegt
• Unternehmen, die bereits Millionen bis Milliarden Dollar in AI-Hardware investiert haben, werden die Belastung einer Einführung neuer Systeme kaum vermeiden können, selbst wenn sich die Leistung von L-Mul bestätigt
• In einer Lage, in der der Strombedarf von AI-Rechenzentren Stromnetze und Klimaziele unter Druck setzt, kann L-Mul als ein Ansatz gesehen werden, der Leistungssteigerung und Energieeinsparung zugleich anstrebt

---

L-Mul, das FPM durch Ganzzahladdition ersetzt

• BitEnergy AI ist ein auf AI-Inferenztechnologie spezialisiertes Unternehmen und hat eine Methode entwickelt, um in der AI-Verarbeitung FPM durch Ganzzahladdition zu ersetzen
• Der Name des neuen Verfahrens ist Linear-Complexity Multiplication (L-Mul)
• L-Mul soll mit einem einfacheren Algorithmus Ergebnisse nahe an FPM liefern und dabei die hohe Genauigkeit und Präzision von FPM beibehalten können
• Laut TechXplore könnte dieser Ansatz den Stromverbrauch von AI-Systemen um bis zu 95 % senken

Hardware-Kompatibilität als Hürde für die Einführung

• L-Mul ist ein neues Verarbeitungsverfahren, daher wurde verbreitete Hardware am heutigen Markt nicht dafür ausgelegt, es direkt zu verarbeiten
• Auch Nvidias nächste Blackwell GPU wird als Beispiel genannt, dass sie nicht mit der Ausführung dieses Algorithmus im Blick entwickelt wurde
• Selbst wenn der Algorithmus von BitEnergy AI ein Leistungsniveau wie FPM erreicht, werden für den praktischen Einsatz Systeme benötigt, die ihn ausführen können
• Für Unternehmen, die bereits Millionen bis Milliarden Dollar in AI-Hardware investiert haben, kann der Bedarf an neuen Systemen zu einer erheblichen Belastung werden
• Wenn AI-Chiphersteller ein auf diesen Algorithmus zugeschnittenes ASIC entwickeln, könnte die Aussicht auf 95 % Stromersparnis das Interesse großer Tech-Unternehmen wecken

Druck durch den steigenden Strombedarf von AI

• Strom entwickelt sich zu einer zentralen Einschränkung in der AI-Entwicklung
• Schon die im vergangenen Jahr verkauften Rechenzentrums-GPUs sollen über ein Jahr hinweg mehr Strom verbrauchen als mehr als eine Million Haushalte
• Bei Google wurden die Klimaziele wegen des Strombedarfs von AI nach hinten gedrängt, und die Treibhausgasemissionen stiegen gegenüber 2019 um 48 %
• Der frühere CEO von Google hatte vorgeschlagen, Klimaziele abzusenken und mehr Stromerzeugung zuzulassen, um das Problem der globalen Erwärmung mit fortschrittlicher AI zu lösen

Was eine bessere Energieeffizienz verändern könnte

• Wenn AI-Verarbeitung energieeffizienter wird, könnte man fortschrittliche AI-Technologien aufrechterhalten und zugleich die Umweltbelastung verringern
• Sinkt der Energieverbrauch um 95 %, würde auch die Belastung großer Rechenzentren für nationale Stromnetze zurückgehen
• Geringerer Druck auf die Stromnetze könnte zudem den Bedarf verringern, mehr Kraftwerke zu bauen, um künftige AI-Infrastruktur schnell auszubauen

Balance zwischen Leistungssteigerung und Effizienz

• Neue AI-Chips ziehen Aufmerksamkeit auf sich, weil sie mit jeder Generation mehr Rechenleistung liefern
• Echter Fortschritt ist jedoch erst dann möglich, wenn Prozessoren nicht nur leistungsfähiger, sondern zugleich auch effizienter werden
• Wenn L-Mul wie behauptet funktioniert, könnte man zugleich mit einer Skalierung der AI-Leistung und einer Verbesserung der Energieeffizienz rechnen

[GN⁺]

Hacker-News-Meinungen

• https://arxiv.org/abs/2410.00907
  Dem Abstract des Papers zufolge entfällt der Großteil der Berechnungen in großen neuronalen Netzen auf Gleitkomma-Tensor-Multiplikationen. L-Mul nähert Gleitkomma-Multiplikationen durch Ganzzahl-Additionen an und soll mit weniger Rechenressourcen als 8-Bit-Gleitkomma eine höhere Präzision liefern.
  Auf Tensor-Processing-Hardware angewendet, soll es bis zu 95 % der Energie bei elementweisen Gleitkomma-Tensor-Multiplikationen und 80 % der Energie bei Skalarprodukten einsparen. Außerdem wird bewertet, dass L-Mul mit 3- bis 4-Bit-Mantisse ähnlich gut oder besser als float8 e4m3/e5m2 ist und sich auf die Attention in Transformern nahezu verlustfrei anwenden lässt.

  • Ich frage mich, ob das bedeutet, dass man auch ohne GPU effizient trainieren kann.
    Das dürfte auf ziemlich großes Interesse stoßen.
  • Ich habe das Gefühl, diese Idee schon ein paar Mal gesehen zu haben; ich glaube, das waren Beiträge auf HN.
    Hier gibt es auch https://news.ycombinator.com/item?id=41784591, und davor gab es ebenfalls schon etwas. Für Leute, die tief in diesem Gebiet stecken, könnte die Idee vielleicht naheliegend sein.
    Intuitiv wirkt es letztlich wie Verschwendung, Gleitkomma zu verwenden, um Entscheidungen zu treffen, die fast boolesch sind; ich dachte aber, dass man das tun müsse, um differenzierbare Algorithmen zu bauen.
  • Früher wurde auf verschiedenen DSP-Architekturen Festkomma-Multiplikation (Q Format) für DSP-Algorithmen genutzt. https://en.wikipedia.org/wiki/Q_(number_format)
    Sie war sehr schnell und erreichte zugleich eine Genauigkeit nahe an Gleitkomma-Multiplikation. Um sowohl schnelle Multiplikation als auch Parallelität zu bekommen, müsste man solche DSP-Blöcke vielleicht als Teil von Tensor/GPU verwenden.
  • Ist das im Grunde ein Quantisierungseffekt, ohne tatsächlich zu quantisieren?

• Das ist eine ziemlich grobe Näherung. Zum Beispiel wird 1.75 * 2.5 == 3, aber je näher die Zahlen an 0 liegen, desto besser scheint es zu werden.
  Ich habe es in tinyBLAS von llamafile für AVX512 implementiert und auf Llama-3.2-3B-Instruct.F16.gguf angewendet; die Ausgabe war kaputt. Damit es richtig funktioniert, müsste das Modell wohl von Grund auf mit dieser Multiplikationsnäherung trainiert und entworfen werden, oder man müsste es darauf abstimmen, sie nur in bestimmten Schichten oder Operationen zu verwenden.
  Die Geschwindigkeit war trotzdem ordentlich: Auf einem Threadripper fiel prefill von 850 Token/s auf 200 Token/s, die Vorhersagegeschwindigkeit blieb aber bei 34 Token/s. Wenn jemand eine LLM-Architektur und Gewichte, die diesen Algorithmus nutzen, auf Hugging Face veröffentlicht, könnte man das wohl auch ohne Spezialhardware ziemlich schnell laufen lassen.

  • Für 1.75 * 2.5 scheint der Kernel falsch zu sein.
    Nach dem Paper gilt 1.75 == (1+0.75)*2^0 und 2.5 == (1+0.25)*2^1, daher ist das Ergebnis (1+0.75+0.25+2^-4)*2^1 == 4.125. Das exakte Ergebnis ist 4.375.

• Außergewöhnliche Behauptungen erfordern außergewöhnliche Belege.
  Möglich ist es vielleicht, aber in diesem Feld arbeiten seit Langem viele Gruppen kluger Leute hart daran. Deshalb fällt die Behauptung, bei gleicher Leistung 95 % Energiekosten einzusparen, in die Kategorie außergewöhnlich. Natürlich wird man es wissen, wenn die Ebbe kommt.

  • Das ist ein Clickbait-Titel, und die Behauptung selbst ist nicht außergewöhnlich. Das arXiv-Preprint war hier schon einmal Thema.
    Die Verbesserung um 95 % bezieht sich konkret nur auf die Multiplikationsoperation. Inferenz ist ohnehin stärker speicher- als rechenlastig, daher wird der reale Gewinn viel kleiner ausfallen.
    Technikjournalismus, im Grunde jeder Journalismus, konzentriert sich zum Überleben auf Klicks und Einnahmen; deshalb ist es schwer, grounded news zu erwarten.
  • Ich halte diese Behauptung nicht für außergewöhnlich. Sie ist mathematisch nicht unmöglich oder unplausibel, sondern nur sehr mühsam zu verifizieren.
    Es braucht viel Retraining und Fine-Tuning, und wenn man nicht bereits massiv parallele Hardware hat, ist das teuer. Oder man muss einen ASIC/FPGA bauen, was ein hohes Investitionsrisiko bedeutet.
    Grob geschätzt könnten niedrig aufgelöste Modelle wie llama-2 in Ordnung sein, weil sich llama-2 ohne große Probleme quantisieren lässt. Bei hochaufgelösten Modellen wie llama-3 dürfte es ohne umfangreiches Retraining aber schwierig werden.
  • Die Behauptung zur Energieeinsparung lässt sich bis zu etwa 70 % verifizieren. Eine Inferenz-Implementierung gibt es hier:
    https://github.com/microsoft/BitNet
  • Bisher haben sich Forschende vor allem mit anderen Themen beschäftigt, etwa Netzwerkarchitekturen oder damit, Netze zu bauen, die bessere Ergebnisse liefern.
    Es gab auch Leute, die die Effizienz niedrigstufiger mathematischer Operationen verbessert haben, und das hier ist eher eine Frucht solcher Arbeiten. So etwas herauszufinden ist keineswegs einfach.
  • Selbst wenn man die Kommentare darüber und darunter berücksichtigt, bleibt es eine außergewöhnliche Behauptung.
    Ich sage nicht, dass es unmöglich oder falsch ist, aber es braucht Belege dafür, dass mit realen Maschinen und realer Energie gleichwertige Leistung möglich ist.
    Die Verteidigung „es gibt keinen passenden Chip“ ist etwas unaufrichtig. Wenn 95 % Einsparung wirklich möglich sind, wird ein kluger Chiphersteller nachrechnen und den Chip bauen. Wenn es stimmt, verdient diese Firma viel Geld; wenn nicht, baut sie ihn nicht.

• Aus meiner Sicht als jemand, der dieses Gebiet, also Approximative Berechnung, sowohl auf GPUs als auch in Silizium erforscht hat, sind sowohl die Aussagen zum Stromverbrauch als auch die zur Genauigkeit völlig daneben.
  Das Paper sagt, „L-Mul ist genauer als fp8-e4m3-Multiplikation“, erklärt aber bei der Fehleranalyse und Komplexitätsschätzung von Mul und L-Mul, dass „Rundung auf nearest even nicht berücksichtigt wird“. Wenn man aus dem Referenzalgorithmus den Teil entfernt, der die Genauigkeit liefert, kann man sich beliebige gewünschte Ergebnisse herauspicken.
  Gleitkomma-Multiplikation ergibt bei Rundung auf nearest even das korrekt gerundete Ergebnis der Multiplikation der ursprünglichen Werte mit unendlicher Präzision; IEEE 754 verlangt das auch für Grundoperationen. Lässt man das weg, entstehen deutlich mehr Quantisierungsrauschen und Bias-Rauschen.
  Ein erheblicher Teil der Energiekosten entsteht durch Datenbewegung zwischen externem Speicher wie DRAM/HBM und Leitungen sowie durch Buffering in SRAM und Flipflops. Die Kosten kombinatorischer Logik sind normalerweise kein großes Problem; wenn es viele Matrixmultiplikatoren mit fester Funktion gibt, steigen diese Kosten zwar, aber die Einsparung beim Gesamtstromverbrauch des Accelerators liegt wahrscheinlich höchstens bei etwa 10 bis 20 %.
  Außerdem fehlen Details zum Rescaling und zur hochpräzisen Akkumulation von Zwischenergebnissen, wie man sie etwa in Umgebungen wie H100 hat. Ohne diese Informationen sind auch die Evaluierungsergebnisse schwer zu vertrauen.

• Ursprüngliche Diskussion zum Preprint: https://news.ycombinator.com/item?id=41784591

• Ist das nicht einfach die Nutzung von „log(x) + log(y) = log(xy)“?
  Die IEEE-754-Gleitkommadarstellung speichert Vorzeichen, Mantisse und Exponent. Wenn man die ersten beiden ignoriert, ist der Exponent – da ohnehin quantisiert wurde – letztlich nur eine Ganzzahl, die log() des Floats speichert.

  • Nicht ganz. Genutzt wird (1+a)(1+b) = 1 + a + b + ab.
    Wenn a und b beide einigermaßen klein sind, ist ab sehr klein und kann ignoriert werden. Deshalb ersetzt man (1+a)(1+b) durch 1+a+b. Die beiden sind eindeutig nicht gleich, aber bei Aufgaben, bei denen eine Maschine etwas schätzt, scheint dieser Unterschied nicht besonders ins Gewicht zu fallen.
  • Genau. Die nächste Frage lautet dann: „Gut, und wie macht man dann Addition?“

• Vor etwa einer Woche habe ich das hier gepostet:
  https://news.ycombinator.com/item?id=41816598
  Solche Verfahren werden seit Jahrzehnten in digitalen Schaltungen, FPGAs, digitaler Signalverarbeitung usw. eingesetzt. Gleitkomma verbraucht viele Ressourcen und viel Energie; deshalb hat man es jahrzehntelang vermieden, Gleitkomma ohne dedizierte Gleitkomma-Hardware zu verwenden, sofern es nicht unbedingt nötig war.

  • Genau. Die ML-Welt lernt langsam, dass nicht nur die Reduktion der Anzahl linearalgebraischer Symbole zählt, sondern auch Optimierung auf Silizium-Einfachheit.
    Schon die Wiederentdeckung von Festkomma war frustrierend genug; Reaktionen nach dem Motto „Wenn man Posen als Quaternionen darstellt, wird alles besser“ bringen Spiele-Engine-Entwickler der letzten 30 Jahre zum Explodieren.
  • Im ML-Forschungsumfeld werden alte Konzepte häufig mit neuen Namen versehen und als novel rebrandet.
  • Für Leute, die sich damit nicht gut auskennen, wäre eine etwas ausführlichere Erklärung hilfreich.

• Vielleicht liegt es an meinem angeborenen Skeptizismus, aber ich werde jedes Mal misstrauisch, wenn die Überschrift sagt „Methode x reduziert y um z %“, der Text aber nur sagt, dass man durch Optimierung eines bestimmten Schritts „y um bis zu z % reduzieren könnte“.
  Ich frage mich, warum sie keine echten Benchmarks veröffentlichen, die die Behauptung wenigstens für ein paar Spezialfälle belegen.

  • Erstens stammt diese Überschrift nicht von den Forschern, sondern aus der Berichterstattung eines Massenmediums, und der hier ursprünglich eingereichte Beitrag war ebenfalls ein Bericht über einen anderen Artikel eines Massenmediums. Es ist seltsam zu erwarten, dass die Autoren eines Papers Behauptungen mit Benchmarks rechtfertigen, die das Paper gar nicht aufstellt.
    Auch „bis zu 95 %“ stammt nicht aus dem Paper. Die Kostensenkungen werden pro Operation und Präzision zitiert und reichen bis zu 97,3 %; sie basieren auf früheren Arbeiten zu den Energiekosten mathematischer Operationen in aktueller Rechenhardware. Eine Behauptung zu End-to-End-Kostensenkungen wird nicht aufgestellt.
    Zweitens ist die tatsächlich behauptete Senkung der Energiekosten gar keine experimentelle Fragestellung. Die Unterschiede im Energieverbrauch zwischen verschiedenen Operationen auf moderner Hardware sind durch andere Forschung bereits etabliert; die experimentelle Frage hier war, ob die mathematische Technik, die energieärmere Operationen ermöglicht, bei der LLM-Inferenz hinsichtlich Ausgabequalität mit bestehenden Implementierungen konkurrieren kann.
  • Umgekehrt gibt es den lebenden Beweis, dass erstaunlich große neuronale Netze mit 20 W Leistung laufen können; die Erwartung, den Stromverbrauch um einige Größenordnungen senken zu können, ist also nicht unvernünftig.
  • https://github.com/microsoft/BitNet
    „Das erste Release von bitnet.cpp zielt auf Unterstützung für CPU-Inferenz ab. Auf ARM-CPUs werden Beschleunigungen um das 1,37- bis 5,07-Fache erzielt, wobei größere Modelle stärkere Leistungsgewinne zeigen. Auch der Energieverbrauch sinkt um 55,4 % bis 70,0 %, was die Gesamteffizienz erhöht. Auf x86-CPUs zeigt sich eine Beschleunigung um das 2,37- bis 6,17-Fache sowie eine Energieeinsparung von 71,9 % bis 82,2 %. Außerdem kann bitnet.cpp auf einer einzelnen CPU ein 100B-BitNet-b1.58-Modell mit 5–7 Token/Sekunde ausführen, also ungefähr in menschlicher Lesegeschwindigkeit, was die Möglichkeit, LLMs auf lokalen Geräten auszuführen, deutlich verbessert. Weitere Details folgen in Kürze.“
  • Auch wenn das moderne Leben enttäuschend ist: Um Traffic zu bekommen, braucht man Clickbait-Überschriften. Trotzdem war es gut, den Artikel zu lesen. Die Information steckt im Text, nicht in der Überschrift.

• Gilt https://en.wikipedia.org/wiki/Jevons_paradox auch in diesem Fall?

  • Interessant.
    Energiekosten schaffen eindeutig eine Eintrittsbarriere, und wenn die Kosten sinken, sinkt auch diese Barriere. Dann gibt es mehr Teilnehmer, und auch die Nachfrage steigt.
  • Das muss nicht unbedingt schlecht sein. Vielleicht verschafft es den KI-Scharlatanen Zeit, etwas tatsächlich Nützliches zu bauen.
  • Natürlich. Das Jevons paradox gilt immer.

• Ich glaube nicht, dass der Algorithmus den Energieverbrauch verändern wird.
  Aus Rechensicht braucht man immer die maximale Kapazität. Wenn morgen ein neuer Algorithmus die Leistung vervierfacht, werden wir einfach viermal so viel Rechenleistung nutzen.