Meta nutzt mit maßgeschneidertem CXL-Bridge-Chip alten RAM in neuen Servern wieder

 (theregister.com)
1 Punkte von GN⁺ 3 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Meta bindet potenziell ausgemusterten DDR4-Speicher an neue DDR5-Server an und reduziert damit bei einigen disaggregierten Inferenz-Workloads die benötigte Serverzahl um bis zu 25 %
  • Rund 40 % der Serverflotte lassen sich nicht mit zusätzlichem Speicher aufrüsten, während Speicher länger nutzbar ist als Server; das Wiederverwenden von DIMMs wird damit zu einem Mittel zur Kostensenkung
  • Der eigene ASIC Vistara verbindet DDR4 über ein CXL-2.0/1.1-kompatibles PCIe-Gen5-x16-Interface und umgeht so die Grenzen bestehender CXL-Geräte bei der Wiederverwendung von DDR4
  • Der auf Vistara basierende MemServer kombiniert AMD Turin, 768 GB DDR5 und 256 GB DDR4 und stellt DDR4 dem OS als separaten NUMA-Knoten ohne CPU bereit
  • CXL-erweiterter Speicher senkt durch OOM verursachte Job-Fehlschläge und Neustarts sowie Overhead durch Ressourcenfragmentierung um 33 % und verringert so den Betriebsaufwand großer Infrastrukturen

Hintergrund der Wiederverwendung von DDR4

  • Meta baut aus älteren Servern entnommene DDR4-DIMMs in neue Server ein und konfiguriert sie als gemeinsam nutzbaren Speicherpool
  • Rund 40 % der Serverflotte lassen sich nicht mit mehr Speicher aufrüsten, was die Ausführung bestimmter Workloads erschwert
  • Die erwartete Lebensdauer eines Servers liegt bei 3 bis 5 Jahren, während Speicher 7 bis 10 Jahre lang sinnvoll nutzbar bleibt
  • Wegen dieses Unterschieds in der Lebensdauer wird die Wiederverwendung von Speicher aus alten Servern in neuen Systemen zu einem Mittel, die Infrastruktur effizienter zu machen
  • Anteil nicht aufrüstbarer Server: {p:40}

Einschränkungen bei der CXL-Einführung und die Rolle von Vistara

  • CXL ermöglicht das Teilen von Speicher zwischen mehreren Hosts, doch in Produktionsumgebungen können geringe Bandbreite, hohe Latenz und zusätzlicher Verwaltungsaufwand für weitere Speicherebenen zur Belastung werden
  • Beim Kombinieren unterschiedlicher Speichertechnologien in einem System können diese Einschränkungen noch deutlicher hervortreten
  • Meta wollte mehrere Speichertypen innerhalb einer einzelnen Maschine mischen, doch handelsübliche CXL-Geräte passten nicht zu den Anforderungen
    • Die meisten CXL-Lösungen bündeln DRAM und Controller zusammen und erschweren dadurch die Wiederverwendung von DIMMs
    • DDR4-Unterstützung fehlt häufig, was sie für das Recycling älterer Speicher ungeeignet macht
    • Auch Stromverbrauch und Kosten mindern die Attraktivität einer Einführung
  • Um diese Lücke zu schließen, entwickelte Meta den maßgeschneiderten ASIC Vistara

Aufbau des Vistara-ASIC

  • Vistara fungiert als CXL-Bridge, die DDR4-Speicher mit dem Host-Prozessor verbindet
  • Das zentrale Interface ist CXL 2.0/1.1 kompatibles PCIe Gen5 x16
  • Jeder Vistara-ASIC hat folgende Ausstattung
    • zwei unabhängige 72-Bit-DDR4-Speicherkanäle
    • Unterstützung für bis zu 3.200 MT/s
    • bei Verwendung von 64-GB-DIMMs bis zu 256 GB pro Chip
  • Für den Betrieb des ASIC kommen zwei maßgeschneiderte RISC-V-Prozessoren zum Einsatz

MemServer-Hardware und -Software

  • Die Vistara-Hardware steckt in einem Gerät, das Meta MemServer nennt
  • Jeder MemServer kombiniert folgende Komponenten
    • AMD Turin-Prozessor
    • 158 Kerne, 316 Threads
    • 768 GB DDR5-Speicher
    • 256 GB DDR4, angebunden über den Vistara-ASIC
  • Die Vistara-CXL-Karte wird in einem nur von hinten zugänglichen Slot im MemServer-Chassis installiert
  • Um die Wärmelast von dicht bestücktem Speicher und CXL-Geräten zu bewältigen, leitet das Chassis mit leistungsstarken Lüftern und gerichtetem Luftstrom Kühlluft direkt zu den Vistara-Modulen
  • Auf Softwareseite erscheint DDR4 dem OS als separater NUMA-Knoten ohne CPU und ist von den direkt mit dem Prozessor verbundenen lokalen DRAM-Knoten getrennt
  • Die Meta-Plattform nutzt zunächst verfügbaren lokalen DDR4 und greift bei Bedarf auf CXL-basierten Speicher zurück
  • Der Linux-CXL-Treibercode für Vistara ist bereits im Upstream-Kernel enthalten oder befindet sich im Prozess der Aufnahme in den Upstream

Produktionseinsatz und betriebliche Auswirkungen

  • Meta setzt die Vistara-basierte CXL-Konfiguration in einer Hyperscale-Infrastruktur im Maßstab von Millionen Servern ein
  • Zu den eingesetzten Workloads gehören
    • disaggregierte ML-Inferenz, einschließlich Embedding-Tabellen in Empfehlungssystemen
    • Big-Data-Verarbeitung
    • Datenbanken
    • verteilte Caches
    • CI/CD-Build-Systeme
  • Big-Data-Tools wie Spark und Hive verarbeiten Datensätze im Tera- bis Petabyte-Bereich und können pro Job mehrere Hundert GB Speicher benötigen
  • Treten bei solchen Workloads OOM-Ereignisse auf, können zentrale Business-Analysen und ML-Pipelines unterbrochen werden
  • Der durch CXL erweiterte Speicherpuffer senkt das OOM-Risiko und reduziert den Overhead durch Job-Fehlschläge, Job-Neustarts und Ressourcenfragmentierung um 33 %
  • Bei disaggregierter Inferenz zeigt sich ein Effekt von bis zu 25 % weniger benötigten Servern
  • Meta profitiert außerdem davon, hohe Speicherpreise zu vermeiden
  • Verringerung des Betriebs-Overheads: {p:33}
  • Einsparung bei der Serverzahl für disaggregierte Inferenz: {p:25}

Verwandte Beiträge

1 Kommentare

 
GN⁺ 3 시간 전
Meinungen auf Hacker News

  • Am Anfang von William Gibsons Neuromancer versucht der Protagonist, auf einem Untergrundmarkt 3 MB RAM zu verkaufen; das wird oft als Beispiel dafür angeführt, dass das Buch von der Zeit überholt wurde.
    Wenn man sich allerdings ansieht, wohin sich der Speichermarkt heute entwickelt … vielleicht sind wir einfach noch nicht so weit gekommen.

    • Die frühen Informatiker waren wirklich optimistisch. Sie glaubten, mit ein paar KB RAM und ein paar MHz CPU könne man alles Mögliche schaffen: künstliche Intelligenz, Bewusstsein, maschinelles Lernen, Sprache, Sprachsynthese.
      Heute verbrauchen wir für ein einziges Webformular RAM im GB-Bereich. Dass Gibson 3 MB RAM für ein Bewusstsein im Cyberspace für ausreichend hielt, war sehr optimistisch, passte aber gut zur damaligen Stimmung.
    • Seit ich Computing bewusst wahrnehme, habe ich mehrmals gedacht, dass die beeindruckendste Entwicklung die Speicherkapazität war. Netzwerke oder USB waren ebenfalls große Fortschritte, aber sie machen Computer nicht auf dieselbe Weise „schnell“.
      Als Diablo II im Jahr 2000 gerade erschienen war, konnte ich einen Computer mit 450-MHz-Pentium III und 64 MB RAM ausleihen; 64 MB RAM waren damals etwa Mittelklasse und keine selbstverständliche Ausstattung. Soweit ich mich erinnere, empfahl Diablo II 64 MB für Singleplayer und 128 MB für Multiplayer.
      Der Computer, auf dem ich das hier schreibe, hat 64 GB RAM, also das 1024-Fache. Die CPU dagegen ist ein Intel mit 20 Kernen und maximal etwa 3 GHz; selbst wenn man annimmt, dass alle Kerne gleichzeitig mit Höchstgeschwindigkeit laufen, beträgt der CPU-Leistungszuwachs nur ungefähr das 133-Fache.
      NVMe-Lesezeiten könnten genauso wichtig sein wie der Zuwachs an Speicherkapazität, vielleicht sogar wichtiger, aber in PC-Datenblättern stehen sie nicht so im Vordergrund wie Speicher und CPU.
      Auch der Kapazitätszuwachs bei Festplatten ist ähnlich beeindruckend wie bei RAM. Im Jahr 2000 waren es ungefähr 10 bis 30 GB, glaube ich; heute brauche ich keine 10-TB-Platte und nutze sie deshalb nicht, 1 TB reicht mir. Deshalb fühlt es sich für mich persönlich nicht so stark an wie beim Arbeitsspeicher.
    • In der frühen Computergeschichte waren Speichereinheiten noch nicht fest etabliert, und je nach Hardwarearchitektur unterschieden sich auch die Wortgrößen; sie waren nicht einmal zwingend durch 8 teilbar.
      Die Speichergrößen solcher Maschinen wurden ursprünglich oft in ihrer Wortgröße angegeben. Etwa: „Diese Maschine hat 8 Kilowörter Kernspeicher.“ Wenn ich also in alten Romanen anachronistisch wirkende Speicherangaben sehe, denke ich einfach, dass ich die von ihnen verwendete Wortgröße nicht kenne.
    • Wenn es sich um 3 MB „heißen“ RAM handelt, der in einem Kryoflaskenbehälter aufbewahrt wird, ist das eher ein Cold-Boot-Angriff; man verkauft nicht den RAM, sondern die Daten.
    • Zu sagen, das Werk sei aus diesem Grund veraltet, ist ziemlich kleinlich. In Hamlet gibt es keine Mobiltelefone, und trotzdem halte ich es weiterhin für ein großartiges Theaterstück.
      Ein kurzer FaceTime-Anruf hätte die Tragödie allerdings verhindert.

  • Ich verstehe nicht, warum man nicht direkt zum ausführlicheren Originalartikel geht.
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • Der Link zum ursprünglichen Paper ist https://aisystemcodesign.github.io/papers/isca26/vistara_cam....
      Grob überflogen kann man es sich ähnlich vorstellen, als würde man viel DDR4 auf PCIe-Karten stecken und wie Swap Space verwenden. In Wirklichkeit ist es wegen des CXL-Protokolls ausgefeilter, aber den Trade-off kann man so verstehen.
      Offenbar gibt es auch Unterstützung auf Betriebssystemebene, um Hot- und Cold-Pages zwischen schnellem Haupt-DRAM und Erweiterungs-DRAM mit höherer Latenz zu verschieben.
      Dass DRAM eine ziemlich lange Lebensdauer hat, schon bei der Herstellung erhebliche eingebettete CO₂-Emissionen mitbringt und es gleichzeitig eine Versorgungskrise bei neuem DRAM gibt, ist ein sehr berechtigtes Thema.
    • Es ist erstaunlich, so etwas zu schreiben, als sei es „Zuck“ zu verdanken. Es ist ja schwer vorstellbar, dass er solche Details tatsächlich kennt.
    • Mit „Originalartikel“ ist wohl eher diese Schwesterseite von The Register gemeint:
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Ich habe mich schon lange gefragt, warum nie ein größerer Markt für „günstige PCI/PCI-X/PCIe-Karten, in die man alte oder überschüssige SIMM/DIMM-Module bzw. Speicher von ein, zwei Generationen davor steckt und sie als Swap/langsamen Speicher/RAM-Disk nutzt“, entstanden ist.
    Es ist selten, dass der Adressraum eines Mainboards vollständig mit aktuellem Speicher belegt ist, und dem Kernel kann man ja beibringen, welchen Speicher er je nach Geschwindigkeit bevorzugen soll – also wirkt das eigentlich naheliegend.
    Ich erinnere mich, dass ein Markt, der Ähnliches mit Flash versuchen wollte, an Patentproblemen gescheitert ist; die Details sind aber verschwommen. Trotzdem wurden Flash-Caches zumindest bei den großen Anbietern zu einem Markt. Vielleicht ist hier etwas Ähnliches passiert, oder es betraf nur die Nische, für die ich mich damals interessiert habe.
    [1] Ich weiß, dass es in diesem Bereich ein paar Produkte gab, aber mein Eindruck ist, dass sie nie groß durchgestartet sind. Ich kann mich irren.
    [2] Unter NetBSD geht das definitiv. Ich habe es auf Architekturen wie VMEbus selbst gemacht; dort sind Konfigurationen mit kleinem, schnellem Onboard-Speicher und größerem, aber langsamerem Speicher auf der Bus-Seite üblich. Bei Linux dürfte so etwas dank der Arbeit an NUMA-Unterstützung ebenfalls möglich sein, aber ich habe es mir nie selbst angesehen.

    • Der Grund, warum es keinen großen Markt gab, war, dass neuer Speicher nicht derart prohibitiv teuer war im Vergleich zu den Kosten, Risiken und Einschränkungen, alten Speicher in neuen Servern zu verwenden.
      Inzwischen hat sich die Lage geändert, daher schauen sich die Leute diese Idee wieder an.
    • Nicht exakt dasselbe, aber ich baue gerade eine NAS-Box aus alten Teilen. Der Großteil meines überschüssigen RAMs sind DDR4-SODIMMs für Laptops, daher habe ich SODIMM-auf-Desktop-DIMM-Adapter ausprobiert, aber das funktionierte nicht gut.
      Das System bootete nur etwa in einem von fünf Versuchen, und egal wie ich die Speichertaktraten einstellte, es wurde nicht stabil.
    • Ich erinnere mich, dass es vor 30 Jahren solche Karten gab, die vier 30-Pin-SIMM-Module auf einen 72-Pin-SIMM-Steckplatz adaptierten.
      https://www.ebay.com/itm/383521792853
    • DIMMs älterer Generationen sind gar nicht so billig, und das Angebot ist begrenzt. Denn Produkte älterer Generationen werden aus der Produktion genommen, um Kapazität für neue Chips freizumachen.
      DDR2 ist bereits teurer als DDR3, wahrscheinlich weil es nicht mehr produziert wird, aber weiterhin Nachfrage für Speicheraustausch oder Upgrades alter Hardware besteht.
    • Der große Unterschied heute ist nach meinem Verständnis, dass CXL über PCIe Cache-Kohärenz hinzufügt. Ich kann mich irren.
      Ohne Cache-Kohärenz muss man viel vorsichtiger damit sein, wie man diesen Speicher nutzt, und auch die Performance-Frage wird komplizierter. RAM über CXL wird langsamer sein als RAM, das direkt am Speichercontroller der CPU hängt, aber es dürfte keine großen Fallstricke geben.

  • Wenn man keinen Custom-Chip entwerfen möchte, gibt es als Standardprodukte CXL-Speichererweiterungs-Chips.
    https://www.marvell.com/products/cxl.html

  • Das Interessante an dieser „RAM-Krise“ ist, dass wie in anderen Bereichen bei Problemen verschiedene Akteure anfangen, nach Alternativen zu suchen.
    Dadurch könnten nach der Krise interessante Ideen oder Workarounds entstehen, die hoffentlich auch auf lokale Maschinen anwendbar sind und einen Speicherboom auslösen.
    Erstens prüft Apple einen neuen chinesischen Hersteller; wenn die Qualitätssicherung in Ordnung ist, könnte das die Angebots- und Nachfragesituation verändern. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    Zweitens suchen Unternehmen nach Performance-Workarounds. Ist Single-Channel plötzlich auch „okay“? :)
    (https://www.gigabyte.com/press/news/2403)

    • Selbst Single-Channel-RAM ist eindeutig besser als festplattenbasierter Swap.
    • Es wäre gut, wenn wir wieder anfangen würden, Software mit Blick auf Hardware-Beschränkungen zu entwerfen.
    • Am Ende ist Not die Mutter der Erfindung. Das dürfte eines der ältesten abstrakten Konzepte im intellektuellen Denken sein.
      Zwischen Ressourcenknappheit und Motivation besteht eine enge Verbindung. Die Nachfrage, die die größten Frontier-Modelle nach RAM, SSDs und GPUs erzeugen, ist ein direkter Anreiz, kleinere LLMs zu bauen. Das ähnelt dem evolutionären Druck auf Tiere, kleiner zu werden und weniger Nahrung zu verbrauchen.
      Selbst wenn diese kleinen Modelle erfolgreich sind, werden sie – abgesehen vielleicht von hochwertiger Videoverarbeitung – wahrscheinlich weiterhin mehr RAM, SSD und GPU nutzen als jede andere Anwendung. Kleine LLMs und anspruchsvolle Videoverarbeitung scheinen einen ähnlichen Ressourcenbedarf zu haben.
      Allerdings könnte es ein weniger verrückter Zyklus werden, wenn sich Ressourcen wieder auf traditionellere Weise über den Gesamtmarkt verteilen.
      Deshalb scheint der Ausweg aus den zyklischen RAM/SSD-Preiskrisen der Hersteller – also den Preisschwankungen zwischen Angebotsengpässen und Überangebot durch neue Produktionskapazitäten – darin zu liegen, Forschung an kleineren LLMs zu finanzieren. Sie werden ohnehin ungefähr dieselbe Menge Produkte verkaufen, vielleicht sogar mehr.

  • Es wäre schön, wenn man so etwas auch für Verbraucher bauen würde. Ich habe ziemlich viel alten RAM.

    • Gigabyte hatte früher einmal eine RAM-Disk-Erweiterungskarte gebaut. Es ist nicht genau dasselbe, aber sie erschien als Speichergerät und konnte daher vom Betriebssystem als Swap-Bereich genutzt werden.
      https://en.wikipedia.org/wiki/I-RAM
    • RAM auf diese Weise hinzuzufügen ist nicht exakt dasselbe wie den Hauptsystemspeicher zu erweitern. Da der RAM über einen PCIe-artigen Link angebunden ist, verhält er sich nicht wie normaler RAM.
      Eine solche Struktur passt eher zu Server-Farmen, in denen Ingenieure die Architektur entsprechend anpassen und tunen können.
      Es gab auch Karten, die RAM als Speichergerät nutzten, aber weil man sie wie eine Festplatte konfigurieren musste, waren die Einsatzmöglichkeiten sehr begrenzt, und sie wurden nicht populär.
    • Bei Verbrauchersystemen ist das Gefühl etwas anders, weil nicht so viel Bandbreite zurück zur CPU vorhanden ist.
      Wenn man sich die heutigen Gebrauchtpreise für DDR4 ansieht, könnte es besser sein, ihn einfach zu verkaufen und eine NVMe-Drive zu kaufen.

  • ServeTheHome hatte bereits im Dezember CXL-Speichererweiterungs-Controller behandelt
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • In dem Paper heißt es: „Unsere CXL-Lösung erzielte bei verschiedenen Workloads große Verbesserungen und reduzierte bei verteilter ML-Inferenz die Zahl der Server um bis zu 25 %“
    Ich verstehe nicht, wie bei schlechterem RAM im selben Workload 25 % weniger Server möglich sein sollen

    • Weil er nicht besseren RAM ersetzt, sondern zusätzlich genutzt wird
    • CXL fügt im Grunde über PCIe „langsamen“ RAM hinzu. Es ist kein Ersatz

  • Es wird interessant, wie sich der Markt für Unterhaltungselektronik in den nächsten Jahren entwickelt. Unternehmen wetten derzeit darauf, dass Verbraucher wegen der RAM-Knappheit höhere Preise zahlen werden
    Da aber auch alle anderen Kosten steigen, werden viele Verbraucher wohl vorerst keine neuen Geräte kaufen. Nicht nach HN-Maßstäben betrachtet; man sollte bedenken, dass nicht alle Tech-Branchengehälter beziehen

    • Ich glaube, ich gehöre eher in diese Richtung. Ich entscheide mich einfach dafür, weniger mit Technologie zu interagieren
      Alles wird zunehmend feindselig, und der Kipppunkt ist erreicht
    • Betriebssystemhersteller werden ältere Hardware länger unterstützen müssen
      Weil Microsoft versucht hat, neue Hardware für Win11 zu erzwingen, wurde Win10 bereits um ein weiteres Jahr verlängert

  • Schön, jetzt können auch die Preise für gebrauchten RAM in die Höhe schießen
    Wäre doch toll, wenn PC-Preise wieder so hoch wären wie ein Auto. Es gäbe wirklich viele Monetarisierungsmöglichkeiten

    • Ist schon passiert. Fünf Jahre alter gebrauchter DDR4 ist heute teurer als Neuware vor fünf Jahren