OpenAI entwickelt in Zusammenarbeit mit Broadcom & TSMC den ersten Chip und fährt Foundry-Pläne zurück

• OpenAI entwickelt einen AI-Inferenzchip und gibt Pläne für ein Foundry-Netzwerk auf
• Broadcom hilft bei OpenAIs Chipdesign und unterstützt die Fertigung bei TSMC
• OpenAI diversifiziert seine Chipversorgung durch die zusätzliche Nutzung von AI-Chips von AMD

OpenAIs interne Chipdesign-Bemühungen und die Nutzung von Industriepartnerschaften

• OpenAI prüft verschiedene Optionen, um die Chipversorgung zu diversifizieren und Kosten zu senken
• Das Unternehmen will seine ehrgeizigen Foundry-Pläne vorerst aussetzen und sich auf interne Chipdesign-Bemühungen konzentrieren
• OpenAIs Strategie zeigt – ähnlich wie bei großen Wettbewerbern wie Amazon, Meta, Google und Microsoft –, wie sich die Chipversorgung sichern und Kosten steuern lassen, indem Industriepartnerschaften sowie interne und externe Ansätze kombiniert werden
• OpenAI gehört zu den größten Chipkäufern; die Entscheidung, eigene Chips zu entwickeln und zugleich von verschiedenen Chipherstellern zu beziehen, könnte weitreichende Auswirkungen auf den Technologiesektor haben
• Broadcom hilft Unternehmen wie Google dabei, Chipdesigns für die Fertigung zu verfeinern, und liefert Designbausteine, die den schnellen Datentransfer auf Chips unterstützen
• OpenAI hat sich über Broadcom Fertigungskapazitäten bei TSMC gesichert, um 2026 den ersten kundenspezifisch entworfenen Chip herstellen zu können
• Derzeit haben Nvidias GPUs einen Marktanteil von mehr als 80 %
• Doch Lieferengpässe und steigende Kosten veranlassen große Kunden wie Microsoft, Meta und nun auch OpenAI, nach internen oder externen Alternativen zu suchen
• Dass OpenAI über Microsoft Azure AMD-Chips nutzen will, zeigt, dass AMDs neuer MI300X-Chip versucht, einen Teil des von Nvidia dominierten Marktes zu erobern
• Das Training von AI-Modellen und der Betrieb von Diensten wie ChatGPT sind kostspielig
• OpenAI erwartet in diesem Jahr bei einem Umsatz von 3,7 Milliarden US-Dollar einen Verlust von 5 Milliarden US-Dollar
• Rechenkosten sind der größte Kostenblock des Unternehmens und treiben die Bemühungen an, die Auslastung zu optimieren und die Lieferantenbasis zu diversifizieren

Meinung von GN⁺

• OpenAIs interne Chipdesign-Bemühungen und die Zusammenarbeit mit verschiedenen Chipherstellern markieren einen wichtigen Wandel in der AI-Branche. Dadurch könnten neue Alternativen entstehen, die Nvidias Dominanz herausfordern und die Entwicklung von AI-Technologien beschleunigen
• Gleichzeitig könnten Bedenken hinsichtlich OpenAIs Kostenstruktur aufkommen. Angesichts der enormen Kosten für die Entwicklung von AI-Modellen und den Betrieb von Diensten stellen sich Fragen zur langfristigen Profitabilität und Nachhaltigkeit
• Zugleich dürfte das Auftreten neuer AI-Chips wie AMDs MI300X den Wettbewerb im Markt fördern und Kunden mehr Auswahl bieten. Das könnte zur Verbreitung und Kommerzialisierung von AI-Technologien beitragen
• Mit der zunehmenden Konkurrenz im Markt für AI-Chips dürfte sich die technologische Innovation beschleunigen, und die Nachfrage nach leistungsstarken, stromsparenden Chips wird voraussichtlich steigen. Entsprechend dürfte auch der Wettbewerb um Investitionen und Talente in Chipdesign und -fertigung weiter zunehmen
• Unternehmen sollten bei der Einführung von AI-Chips verschiedene Faktoren wie Leistung, Kosten, Kompatibilität und Skalierbarkeit ganzheitlich berücksichtigen. Entscheidend ist die Wahl des optimalen Chips, der zur langfristigen Technologie-Roadmap und Geschäftsstrategie passt

[GN⁺]

Hacker-News-Meinungen

• Aus Sicht eines ehemaligen Google-Mitarbeiters überhaupt nicht überraschend. Ich bin weiterhin mit Freunden bei Google in Kontakt, und in den letzten Monaten hat die Zahl der Hardware-Ingenieure von Google, die OpenAI abwirbt, stark zugenommen.
  Schon ein Blick auf die Profile der Hardware-Ingenieure von OpenAI bei LinkedIn zeigt leicht, wie viele von Google kommen. Googles TPU-Team ist nur noch ein Schatten seiner selbst; es wäre daher nicht überraschend, wenn künftige Google-TPUs schlechter ausfallen als OpenAIs neuer Chip.
  Auch frühere Arbeit an Google-TPUs war auf Hilfe von Broadcom angewiesen: https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
  Da Broadcom Google bei TPUs gut unterstützt hat, ist es nur sehr natürlich, dass ehemalige Google-Leute diese Lieferantenbeziehung in ihr neues Unternehmen mitnehmen.

  • BRCM entwickelt sich eher zu einem Dienstleistungsunternehmen, das ASICs entwirft für Firmen, die kundenspezifische ASICs wollen. Solche Firmen gibt es viele, und ich weiß nicht, warum das eine Nachricht sein soll.
    BRCM ist zusammen mit Marvell und anderen führend bei SerDes, und IP von Synopsys und Cadence wird von solchen Chipfirmen ebenfalls häufig genutzt. Kein Unternehmen wird sämtliche IP vollständig vertikal integrieren, daher scheint mir die Aufregung unbegründet.
  • Man sollte auch sehen, dass Google viel Zeit, Geld und Humankapital in TPUs gesteckt hat und erst langsam Ergebnisse erzielte. Selbst Unternehmen, die bei großskaliger Skalierung erprobt sind, haben es versucht und sind gescheitert, zum Beispiel Tesla.
    Das ist nicht so einfach, wie Doktoranden in einen Raum zu sperren und sie ein LLM ausspucken zu lassen. Hardware-Entwicklung ist schwierig, langsam, dauert in der Validierung lange und ist extrem teuer.

• Jensen sagt schon länger, die Nachfrage sei „verrückt“, und es gibt auch Gerüchte über niedrige Ausbeuten. Das könnte in den kommenden Monaten oder Jahren zu Lieferproblemen führen.
  Kein Fortune-500-Unternehmen wird seine gesamte AI-Hardware und -Software von einer einzigen Quelle abhängig machen. Sich von einer Single Source zu lösen und zu diversifizieren, ist eine kluge Entscheidung.

  • Auch die Führungskräfte in unserem Unternehmen antworten, wenn man sie fragt, warum wir nicht Nvidia verwenden, genau mit Diversifizierung der Bezugsquellen. Das Lustige ist: Wir nutzen Nvidia fürs Training überhaupt nicht.
    Weil wir Nvidia nicht bekommen können, verwenden wir Trainium.
  • Ich frage mich, wie die Aussage, es sei „klug, nicht die gesamte AI-Hardware und -Software bei einer einzigen Quelle zu haben“, mit dem Exklusivvertrag mit Microsoft zusammenpasst.
    Selbst der OpenAI/Oracle-Deal ist so ausgestaltet, dass Oracle in seinen eigenen Rechenzentren den Azure-Stack betreiben muss, damit MSFT die Beziehung vermitteln kann. Auch die im Artikel genannten AMD-Chips kauft MSFT.
    Ich frage mich, ob das bedeutet, dass OpenAI Risiko und Investitionsausgaben übernimmt und Microsoft dafür verschiedene Hardware bereitstellt, oder ob es andere Bedingungen gibt.

• Formulierungen, wonach OpenAI geprüft habe, selbst alles zu bauen und Kapital für ein Foundry-Netzwerk zur Chipfertigung aufzunehmen, spielen stark herunter, wie absurd Sams Ambitionen waren.
  Er brachte die Idee ins Spiel, irgendwie 7 Billionen US-Dollar aufzutreiben, um 36 Fabs speziell für AI-Silizium zu bauen, und TSMC-Führungskräfte sollen ihm dafür praktisch ins Gesicht gelacht haben.

  • Sam hat diese Behauptung selbst klargestellt. Gemeint sei gewesen, dass wir alle collectively am Ende 7 Billionen US-Dollar für Computing ausgeben müssten, um die Nachfrage zu decken – nicht, dass OpenAI allein 7 Billionen US-Dollar aufnehmen und die gesamte Produktionskapazität bauen wolle.
  • Es ist erstaunlich, dass Satya Nadella diesen Menschen und diesen Plan gesehen und entschieden hat: „Das ist genau die Art stabiler Genie, dem man OpenAI anvertrauen sollte.“
  • Mit ein bisschen gesundem Menschenverstand hätte man darüber lachen müssen. 7 Billionen US-Dollar sind schlicht kein Geldbetrag, den man einfach aufnehmen kann.
    Die gesamte inländische Nettoinvestition der USA liegt unter 1 Billion US-Dollar: https://fred.stlouisfed.org/series/W790RC1Q027SBEA
    Die Bruttoanlageinvestitionen, also Nettoinvestitionen plus Abschreibungen, sind auch nicht wesentlich höher: https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
    Google, Apple und Microsoft zusammen kommen bei den jährlichen CapEx nicht einmal auf 100 Milliarden US-Dollar. Und das, obwohl die Marktkapitalisierung der drei zusammen fast 10 Billionen US-Dollar beträgt.
    Dass ein Unternehmen im Wert von 100 Milliarden US-Dollar 7 Billionen US-Dollar verlangt, ist unglaublich absurd.
  • Trotzdem ist es in gewisser Weise beeindruckend. Wenn man zuerst 7 Billionen US-Dollar fordert, wirkt es später ziemlich vernünftig, nur 1 Billion US-Dollar zu verlangen ;-)
  • Vielleicht bin ich zu zynisch, aber schon bei der Rede von einer einzigen Fab müsste man lachen. Design, meinetwegen – aber Fertigung?

• Angesichts der überzeugenden Finanzanalyse von „The Subprime AI Crisis“ fällt mir nur noch eine Zeile aus dem Film „Dodgeball“ ein:
  „Eine gewagte Strategie, Cotton. Mal sehen, ob sie aufgeht.“
  0 - https://www.wheresyoured.at/subprimeai/
  1 - https://www.imdb.com/title/tt0364725/quotes/

  • Als Antwort auf den Beitrag von wheresyouredat: Es wirkt, als habe OpenAI das kostenlose allgemeine Modell abgeschwächt, sodass es in meinem Benchmark weiterhin unvollständige Antworten liefert. Das o1-Modell dagegen besteht denselben Benchmark weiterhin.
    Früher lieferte auch das kostenlose Modell je nach Tag genauere Antworten auf meinen Benchmark. Daher fühlt es sich so an, als hätten sie die Lücke zwischen beiden vergrößert, damit o1 nützlicher wirkt.
    Mir ist egal, was OpenAI mit seinem Produkt macht, aber für mich sieht es so aus, als hätten sie das kostenlose Produkt generft, um o1 im Vergleich besser aussehen zu lassen.

• Wie lange dauert es, einen neuen Chip in die Produktion zu bringen und ihn für Training oder Inferenz zu nutzen?

  • Bei einem guten Team ungefähr 2 Jahre. Danach braucht man Software, damit er richtig funktioniert. Das ist nichts, was man schnell erledigt.
    Wenn man mehr Geld hineinsteckt, könnte es schneller gehen, aber man kann es auch vermasseln, sodass es länger dauert.
  • Hier halte ich Zeit nicht für so entscheidend. Man muss nur ansehen, wie Apple silicon die Leistung verändert und die Abhängigkeit von Intel beendet hat.
    Wenn sie es richtig hinbekommen, können sie den Abstand zu anderen LLM-Anbietern weiter vergrößern.
  • Die erste Chipgeneration wird wahrscheinlich nicht ausreichen, um sie tatsächlich im Betrieb einzusetzen; dann muss man auf die zweite Generation umsteigen. Das könnte grob 3 bis 4 Jahre dauern.

• Vermutlich bauen sie eigene Rechenzentren, um diesen Chip zu nutzen, aber es ist seltsam, dass das im Artikel nicht wirklich steht.
  Gibt es unter westlichen AI-/Matrixmultiplikations-Chips überhaupt Chips, die nicht bei TSMC produziert werden? Sind Amazon oder Meta vielleicht anders? NVIDIA, AMD und Googles TPU nutzen ebenfalls TSMC mit Broadcom als Designpartner, und jetzt auch OpenAI.
  Ich frage mich, ob Samsung nicht wettbewerbsfähig ist. Außerdem frage ich mich, ob die Begrenzung bei den gesamten Chip- oder Chipsatzmengen an TSMCs Produktionskapazität liegt oder eher an Speicher oder Packaging.

  • Samsung ist nicht wettbewerbsfähig, daher müssen derzeit alle guten Chips bei TSMC gefertigt werden. Als Engpässe bei AI-Chips wurden Packaging und HBM genannt, aber auch TSMC ist stark ausgelastet.
  • Samsung liegt ungefähr 2 bis 3 Jahre zurück und ist nicht so katastrophal, wie es auf HN oft klingt. Aber wenn man Chips mit 80 % Marge verkaufen kann, will man natürlich das Beste verwenden.

• OpenAI scheint erkannt zu haben, dass es außer Markenbekanntheit praktisch keinen Burggraben hat, und wollte sich offenbar mit Fabs und Chipdesign einen schaffen.
  Wenn exklusive Fabs und Chips auf magische Weise überlegen gewesen wären und man sie billig hätte bauen können, ohne die Steuer an das grüne Team zu zahlen, hätte das bei den Inferenzkosten einen enormen Vorteil gebracht.
  Vielleicht haben sie auch entschieden, dass es schon ausreicht, mit proprietären Chips anzufangen.

• Ich habe weiterhin das Gefühl, dass bei AI Transistoren verschwendet werden. Wir verwenden binäre Zustände, um Entropie aus dem System zu entfernen, aber bei AI ist viel mehr Entropie zulässig.
  Für diesen Zweck müsste man eigentlich etwas deutlich Besseres als NAND-Gatter verwenden können.

  • Ein weiterer Grund für die binäre Methode war, dass sie Syntheseautomatisierung ermöglichte, statt von Hand gezeichnete Schaltungen zu verwenden. Im großen Maßstab ist das wirklich wichtig.
    Sie senkt die NRE-Kosten und erhöht die Entwicklungsgeschwindigkeit. Wenn man das aufgibt, wirft man möglicherweise auch das Tool-Ökosystem weg, das die heutige Effizienz erst möglich gemacht hat.

• Dinge wie GH Copilot sind großartig, aber abgesehen davon habe ich die gesellschaftlichen und kulturellen Auswirkungen von LLMs noch nicht gesehen. Damit meine ich nicht die überhitzten Social-Media-Posts von Influencern, die tolle Beispiele oder Modell-Releases zeigen.
  Ich sehe nicht, dass diese Technologie in die Gesellschaft insgesamt einsickert, und frage mich, ob ich dagegen immun bin oder ob sie tief in SaaS-/Enterprise-Produkten verborgen ist.
  Es müsste doch einen weit verbreiteten, klebrigen und bindungsstarken produktiven kulturellen Einfluss geben, nicht nur ein „oh, cool“ wie bei 3D-TV oder VR.
  Umso mehr, wenn man bedenkt, wie viel Geld in GPU-Kühlkörpern verbrannt wurde.

  • Die Generation, die jetzt in Schulen und Universitäten ist, macht LLMs zu einem Teil ihrer Alltagsroutine.
    Neben dem Bildungsbereich ist rund um LLMs auch die SEO-Industrie gewachsen, und sie liebt die neue Fähigkeit, Spam in großem Maßstab zu produzieren.
    In Unternehmen und Behörden werden sie vorsichtig für Kommunikationsaufgaben eingeführt, bei denen leichte Halluzinationen oder ein roboterhafter Corporate-Stil tolerierbar sind, um Produktivitätsgewinne zu erzielen. Die endgültigen Sätze formuliert weiterhin ein Mensch.
    Im Kundensupport und Vertrieb wird Geld für die „AI“-Version alter Telefonmenübäume ausgegeben, die am Ende dazu führt, dass man „Ich möchte mit einem Mitarbeiter sprechen“ schreit, bevor man zu einem Menschen durchgestellt wird.
    Anderswo läuft die Einführung langsam. Wir erwarten deterministische Ergebnisse, aber von solchen Modellen kann man das kaum erwarten. Wenn man Software baut, die mit einer LLM-API interagiert, muss man defensive Coding-Techniken wieder implementieren, die man seit über 10 Jahren nicht mehr gebraucht hat, weil die Ausgabe zufällig von der angeforderten Struktur abweichen kann. Deshalb ist auch die Nutzung strukturierter Ausgaben oder Function Calling schwierig.
  • Das lässt sich ziemlich leicht überprüfen. Frag Freunde, möglichst solche, die keine Entwickler sind, ob sie es nutzen.
    Als ich sah, dass ein Freund aus dem Accounting und eine Freundin aus dem Marketing es für einfache Analysen oder das Verfassen von Werbetexten nutzen, wurde mir klar, dass es bereits auch von Nichtentwicklern regelmäßig verwendet wird.
    Die Nutzung durch nichttechnische Berufe ist in diesem Bereich wichtig. Als Gegenbeispiel zum Hype dient Krypto: Die nichttechnischen Menschen, die ich kenne, „hielten“ es nur über Börsen, setzten aber die behaupteten Use Cases nicht um.
  • Die Menschen in meinem Umfeld und ich nutzen es als teilweisen Ersatz für Websuche.
    Besonders o1-preview ist ziemlich gut darin, zu Fragen, die mich interessieren, Mini-Review-Artikel mit breitem Überblick zu schreiben.
    Es funktioniert gut, wenn es bereits viele Texte zu dem Thema gibt und diese passend zu meiner Frage neu kombiniert werden müssen.
    Das Chat-Format ist viel effizienter, als Websuche zu nutzen oder ein paar relevante Wikipedia-Artikel zu lesen. Es ist wirklich eine Frage, ob das Glas halb voll oder halb leer ist. Ich bin von der Nützlichkeit stark beeindruckt und erwartungsvoll, aber zugleich ist es eindeutig keine AGI.
  • Seltsamerweise scheinen die Medien die Nutzung nicht richtig zu erfassen. Die meisten Journalisten und YouTuber zeigen nur triviale Use Cases.
    Ich habe unerwartete Leute gesehen, die LLMs für alle möglichen Zwecke nutzen. In vielen Fällen wollen sie ihrem Chef nicht einmal sagen, dass sie das Tool verwenden, weil es ihnen Superkräfte verleiht.
    Ich meine damit Bankangestellte, Filialleiter, Lokalpolitiker, Kleinunternehmer und ähnliche Leute. Früher hätte ich das selbst schwer geglaubt, aber ich sehe immer mehr unerwartete Menschen, die LLMs nutzen und auch Prompts ordentlich formulieren.
  • Du denkst anscheinend nur an direkte Konsumenten, aber man sollte sehen, dass Microsoft Copilot in Windows integriert hat und weiter verbessert.
    Wenn alle Outlook-Nutzer Buttons für Zusammenfassungen, Extraktion und E-Mail-Verbesserung haben, werden Hunderte Millionen Menschen täglich LLMs verwenden.

• 7 Billionen Dollar für eigene Fabs ausgeben zu wollen, war ehrgeizig und zugleich verrückt. Am Ende scheint die Realität dazwischengekommen zu sein. Wenn sie aus dem großen Traum erwacht sind, hoffe ich, dass sie die Qualität weiter halten.

  • Es sieht eher so aus, als sei die Arbeit, einen Preisanker zu setzen, abgeschlossen, und man sei jetzt bereit für echte Deals.