Nvidia-CEO Jensen Huang kündigt neuen AI-Chip an: „Wir brauchen größere GPUs“

Nvidia-CEO Jensen Huang kündigt neuen AI-Chip an: „Wir brauchen größere GPUs“

• Nvidia hat am Montag eine neue Generation von Chips für künstliche Intelligenz (AI) sowie Software zum Ausführen von AI-Modellen angekündigt.
• Der neue AI-Grafikprozessor heißt „Blackwell“ und soll noch vor Jahresende ausgeliefert werden.
• Die Ankündigung kommt zu einem wichtigen Zeitpunkt für Unternehmen und Softwareentwickler, die weiterhin darum ringen, Chips ähnlich der aktuellen H100-Generation zu bekommen.

Blackwell, der Nachfolger von Hopper

• Nvidia aktualisiert seine GPU-Architektur alle zwei Jahre und erzielt damit große Leistungssprünge.
• Der auf Blackwell basierende Prozessor GB200 bietet bei AI-Leistung 20 Petaflops gegenüber 4 Petaflops beim H100 und ermöglicht AI-Unternehmen, größere und komplexere Modelle zu trainieren.
• Der Chip enthält eine „Transformer Engine“, die speziell für das Ausführen Transformer-basierter AI entwickelt wurde, und kombiniert zwei von TSMC gefertigte Dies zu einem großen Chip.

Nvidia Inference Microservice

• Nvidia ergänzt sein Nvidia-Enterprise-Software-Abo um ein neues Produkt namens „NIM“ (Nvidia Inference Microservice).
• NIM erleichtert den Inferenzprozess beim Ausführen von AI-Software mit vorhandenen Nvidia-GPUs und ermöglicht Unternehmen, die Millionen Nvidia-GPUs weiter zu nutzen, die sie bereits besitzen.
• Diese Strategie soll Kunden, die Nvidia-basierte Server kaufen, dazu bewegen, Nvidia Enterprise zu abonnieren, wofür jährliche Lizenzkosten von 4.500 US-Dollar pro GPU anfallen.

Meinung von GN⁺

• Die Ankündigung von Nvidias neuem AI-Chip „Blackwell“ und der zugehörigen Software „NIM“ steht für den technologischen Fortschritt im AI-Bereich und unterstreicht die Bedeutung von Hardware- und Softwareplattformen für Training und Inferenz von AI-Modellen.
• Die Leistungssteigerung des Blackwell-Chips gibt AI-Forschern die Möglichkeit, mit größeren und komplexeren Modellen zu experimentieren, was eine wichtige Rolle für die Weiterentwicklung von AI spielen kann.
• Der hohe Preis leistungsstarker AI-Chips kann jedoch für einige Unternehmen oder Forschungseinrichtungen eine Eintrittsbarriere darstellen, was Diskussionen über die Demokratisierung der Technologie anstoßen könnte.
• Auch andere Unternehmen, die mit Nvidia konkurrieren, entwickeln Produkte mit ähnlichen Funktionen, etwa AMDs Radeon Instinct oder Googles TPU, die Auswahlmöglichkeiten im Markt für AI-Hardware bieten.
• Zu den Faktoren, die bei der Einführung von AI-Technologie berücksichtigt werden sollten, gehören Kosten, Leistung, Kompatibilität und technischer Support. Nvidias neue Technologie kann Unternehmen, die diese Anforderungen erfüllen wollen, große Vorteile bieten.

[corelyai]

• Nvidia-Entwicklerkonferenz: Vorstellung des Blackwell-Chips und künftiger Technologien

• Nvidia stellte Blackwell vor, eine innovative Plattform mit 28 Milliarden Transistoren auf zwei benachbarten Dies, um einen einzigen riesigen Chip zu schaffen, der 10 Terabyte Daten pro Sekunde überträgt, und bietet Formfaktor-Kompatibilität mit Hopper.
• Der MVY-Link-Switch von Blackwell mit 50 Milliarden Transistoren ermöglicht Hochgeschwindigkeitskommunikation zwischen GPUs und macht es möglich, Exaflop-AI-Systeme in einem einzigen Rack aufzubauen.
• Nvidia kündigte Partnerschaften mit AWS, Google, Oracle und Microsoft an, um verschiedene AI-Services zu beschleunigen und Nvidia-Technologie in diese Plattformen zu integrieren.
• Nvidia stellte eine AI Foundry vor, die mit Unternehmen wie SAP, ServiceNow, Cohesity, Snowflake und Dell zusammenarbeitet, um Generative-AI-Lösungen und AI-Fabriken aufzubauen.
• Durch das Streaming von Omniverse Cloud auf Vision Pro wird eine nahtlose Integration und ein reibungsloser Workflow zwischen verschiedenen Design-Tools unterstützt; außerdem stellt Nvidia Project Groot, Isaac Lab und OSMO für AI-basierte Roboter vor.
• Disneys von Jetson angetriebener bdx-Roboter hatte einen Gastauftritt und demonstrierte Lernfähigkeiten in Isaac Sim.

Dies ist eine mit corely.ai zusammengefasste CNET-Videozusammenfassung (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Hacker-News-Kommentare

• Auf der Konferenz wurde deutlich, dass Nvidia sich in Richtung eines Stack-Ausbaus bewegt.

  • Nvidia baut als Hardware-Anbieter erwartungsgemäß weiterhin immer größere Systeme.
  • Bemerkenswert ist, dass das Unternehmen NIM aufbaut, also so etwas wie „docker for llms“.
  • NIM ist ein Containersystem, das sich auf Nvidia-Hardware leicht bereitstellen lässt.
  • Es wird interessant sein zu beobachten, welche Auswirkungen das auf AI-Startups haben wird.

• Es wird erkannt, dass Nvidia sich zu einem Plattformanbieter wandelt.

  • Als AI-Service-Plattform scheint das für Nvidia profitabler zu sein.
  • Das Gleichgewicht mit Partnerschaften mit AWS und Microsoft könnte schwierig werden.
  • Nvidia ist im Vorteil, weil die AI-Abhängigkeit von CUDA hoch ist.
  • Es bleibt spannend, wie sich das künftig entwickeln wird.

• Es wird gefragt, ob FP4 ein 4-Bit-Gleitkommaformat ist.

  • Die Vergleichsgrafik mit der Aussage, es sei 30-mal höher als Hopper, ist etwas irreführend.

• Nvidia hat vor einigen Jahren Bright Cluster Manager übernommen.

  • Wer das nächste Übernahmeziel sein wird, ist offen, aber es wirkt so, als wolle das Unternehmen den gesamten Stack anbieten.

• Es wird gefragt, ob „Plattformunternehmen“ in diesem Fall Multi-Chip bedeutet.

  • Da es unrealistisch ist, zu viele Transistoren in einem einzelnen Die unterzubringen, ist der Weg zu Multi-Chip logisch.

• Es wird eine 25-fache Reduzierung des Stromverbrauchs behauptet, was schwer nachzuvollziehen ist.

  • Es braucht eine Erklärung, woher diese Zahl kommt.

• Es gibt eine Erwähnung von massenhaft produzierten zweistelligen Petaflop-Systemen.

  • Es gibt verschiedene Schätzungen zur benötigten Rechenleistung, um die Aktivität des menschlichen Gehirns zu replizieren.
  • Ein Petaflop entspricht 10^15.
  • Es wird betont, in was für einer erstaunlichen Zeit wir leben.

• Nvidias Umsatz im Rechenzentrumsbereich erreichte im 4. Quartal 2023 einen Rekordwert von 18,4 Milliarden US-Dollar.

  • Das entspricht einem Anstieg von 27 % gegenüber dem Vorquartal und 409 % im Jahresvergleich.
  • Das deutet darauf hin, dass die Erlöse aus Inferenz deutlich steigen.

• Dass FP8 gegenüber Hopper nur 2,5-mal so schnell ist, wirkt nach so langer Zeit etwas enttäuschend.

  • Da es sich um zwei fusionierte Chips handelt, beträgt der tatsächliche Effekt nur 25 % Zuwachs.
  • Der Großteil des Fortschritts liegt bei Speicherdurchsatz und Stromverbrauch.
  • Es ist interessant, wie sich diese Fortschritte auf den Consumer-Bereich auswirken werden.

• Es wird ein Link mit weiteren Informationen zu technischen Details bereitgestellt.