Intel-CEO: „Die gesamte Branche ist motiviert, den CUDA-Markt zu beseitigen“

 (tomshardware.com)
2 Punkte von GN⁺ 2023-12-16 | 1 Kommentare | Auf WhatsApp teilen
  • Intel-CEO Pat Gelsinger stellte bei einer Veranstaltung in New York City Core Ultra und die Rechenzentrumschips der 5. Xeon-Generation vor und behauptete, Nvidias CUDA-Dominanz beim KI-Training werde nicht ewig anhalten
  • Gelsinger verwies auf MLIR, Google und OpenAI und sieht die Branche auf dem Weg zu einer Pythonic-Programmierebene, um KI-Training offener zu machen
  • Intel sieht den Markt für Inferenz (Inference), der nicht von CUDA abhängig ist, als wichtigeren Schauplatz und will mit Gaudi 3, Xeon und Edge-PCs im Wettbewerb um die Ausführung von Modellen nach dem Training antreten
  • Im Zentrum der KI-Strategie steht OpenVINO; Intel erwartet eine gemischte Computing-Umgebung, in der einige Operationen in der Cloud und andere auf dem PC verarbeitet werden
  • Gelsinger sagte, Intel werde im KI-Markt für Rechenzentren mit CPUs, Beschleunigern und Foundry konkurrieren und sowohl interne Chip-Chancen als auch kommerzielle Chancen mit Nvidia, AMD und anderen verfolgen

Intels Offensive gegen die CUDA-Dominanz

  • Pat Gelsinger stellte bei einer Veranstaltung in New York City Intel Core Ultra und die Rechenzentrumschips der 5. Xeon-Generation vor und nahm dabei Nvidias CUDA-Technologie direkt ins Visier
  • Auf eine Frage bei NASDAQ antwortete er, dass die Dominanz von Nvidia CUDA beim KI-Training nicht ewig anhalten werde
  • Er sagte: „Die gesamte Branche ist motiviert, den CUDA-Markt zu beseitigen“
  • MLIR, Google und OpenAI bewegen sich seiner Ansicht nach hin zu einer Pythonic-Programmierebene, um KI-Training offener zu machen
  • Er bezeichnete den Burggraben von CUDA als „flach und klein“ und argumentierte, die Branche wolle für breiteres Training, Innovation und Data Science ein größeres Technologiespektrum einbringen

Strategie mit Fokus auf Inferenz statt Training

  • Intel betrachtet Inferenz als Kernmarkt, statt allein über Training zu konkurrieren
  • Laut Gelsinger besteht nach dem einmaligen Training eines Modells keine CUDA-Abhängigkeit mehr; entscheidend sei, wie gut dieses Modell ausgeführt werden kann
  • Gaudi 3, erstmals auf der Bühne gezeigt, wurde als Produkt für diesen Wettbewerb vorgestellt
  • Auch Xeon und Edge-PCs wurden als Wettbewerbsachsen in dieselbe Richtung genannt
  • Das bedeutet nicht, dass Intel den Trainingsmarkt aufgibt, doch Gelsinger sieht „im Kern den Inferenzmarkt als den entscheidenden Schauplatz“

OpenVINO und gemischtes Computing

  • Gelsinger hob OpenVINO als zentralen Standard in Intels KI-Bemühungen hervor
  • Für die Zukunft erwartet er eine Welt des gemischten Computings, in der einige Operationen in der Cloud und andere auf dem PC des Nutzers verarbeitet werden
  • Sandra Rivera ergänzte, Intel könne wegen seiner Skalierung vom Rechenzentrum bis zum PC zum bevorzugten Partner werden
  • Rivera stellte außerdem Intels Fähigkeit zur Massenproduktion als Stärke heraus

Dreigleisiger Wettbewerb im KI-Markt für Rechenzentren

  • Gelsinger erklärte, Intel werde im gesamten KI-Markt für Rechenzentren auf drei Arten konkurrieren: mit CPUs, Beschleunigern und Foundry
  • Als interne Chancen wurden Chips wie TPU, Inferentia und Trainium genannt
  • Bei kommerziellen Chancen will Intel auch mögliche Kooperationen mit Nvidia, AMD und anderen verfolgen
  • Intel stellt neben dem Wettbewerb mit eigenen Produkten zugleich die Strategie heraus, ein Foundry-Player zu werden

Offene Fragen zur Wettbewerbslage

  • Gelsinger zeigte bei der Ankündigung an diesem Tag großes Selbstvertrauen und führte die Präsentationen seines Teams an
  • Ob Intel CUDA tatsächlich Paroli bieten kann, bleibt eine Frage, die sich erst beantworten lässt, wenn sich die Anwendungen der von Intel vorgestellten Chips und der von Wettbewerbern entwickelten Chips breiter durchsetzen

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-12-16
Hacker-News-Kommentare

  • Wie in anderen Kommentaren erwähnt, ist der Kern CUDA. Intel oder AMD können zwar ziemlich schnell Chips bauen, verstehen aber nicht, dass der eigentliche Wettbewerb um Software und Ökosystem geht.
    Zum Beispiel kann man auf eBay eine gebrauchte MI100 mit fast derselben Leistung wie eine A100 für ein Fünftel des Preises kaufen. Der Grund, warum sie so billig ist: Wegen Software-Inkompatibilitäten gegenüber Nvidia-GPUs verbringt man enorm viel Zeit damit, sie überhaupt zum Laufen zu bringen.
    Auch Google bietet mit einem XLA-Interface für PyTorch Forschern nur einen einigermaßen kompatiblen Pfad, Intel macht Ähnliches.
    Ein Unternehmen in diesem Bereich müsste riesige Testsammlungen wie alle Modelle von Hugging Face aufbauen und Probleme stumpf eins nach dem anderen beheben, um seine Chips verkaufen zu können.
    Intel kündigt wie immer offene Initiativen an und leistet danach nur minimale Unterstützung; es sieht so aus, als würde OpenVINO wahrscheinlich ohne große Ergebnisse enden. OpenAIs Triton scheint bereits mehr Erwähnung zu finden.

    • Witzig ist, dass ein großer Teil des AI-Software-Ökosystems faktisch PyTorch ist. Man muss kein neues Framework bauen und populär machen und auch nicht unzählige nachgelagerte Libraries unterstützen. Man muss einfach nur PyTorch richtig unterstützen.
      Wenn PyTorch auf Intel-GPUs gut läuft, würden viele Leute gerne wechseln.
    • Das ist nicht nur ein Intel-Problem. Offene Initiativen und Konsortien sind meist eine Art, wie die Zurückliegenden sich zusammenschließen, um einen Vorteil zu erlangen, den sie nicht haben.
      Wer etwas älter ist, hat dieses Muster in der Branche immer wieder gesehen. Die Geschichte von Unix gegen Windows NT in den 1990ern war voll von solchen Bewegungen, und im Networking passiert mit UltraEthernet gerade wieder dasselbe.
      OpenGL war vermutlich der erfolgreichste Ansatz, funktionierte aber nur knapp und half den Spielern, die nicht ohnehin auf dem Weg zum Sieg waren, kaum. Unix 95 hat nicht funktioniert, Unix 98 auch nicht.
    • Nvidia hat wahrscheinlich zehnmal mehr Angst vor Leuten wie https://github.com/ggerganov als vor Intel oder AMD.
    • Das ist der Punkt. Solange Intel oder AMD die Software-Seite nicht ernst nehmen und wirklich Geld investieren, wird CUDA nicht verschwinden.
      Intel wird wahrscheinlich eine entsprechende Initiative groß ankündigen und ein oder zwei Quartale später die betreffende Abteilung massiv kürzen.
      Um im CUDA-Bereich zu konkurrieren, braucht es mehrjährige Zusagen und umfangreiche Einstellungen, und dafür müssten sie auch Gehälter auf Marktniveau anheben.
    • AMD und Intel, in gewissem Maße auch Qualcomm, scheinen nicht zu verstehen, wie man NVIDIA schlägt.
      Um NVIDIA Marktanteile abzunehmen, muss man nicht sofort etwas Besseres als eine H100 bauen. Es gibt viele Kunden, die mit dem Niveau einer 4090, 4080 oder sogar 3080 zufrieden wären, wenn das Produkt halb so viel kostet, bei Amazon oder NewEgg direkt verfügbar ist und keinen „Preis anfragen“-Button hat.
      AMD und Intel sind deutlich besser als NVIDIA darin, Chips tatsächlich kaufbar zu machen, aber das allein reicht nicht.
      Was nötig ist, sind intelcc, amdcc, qualcommcc, die genau denselben Code, den man in nvcc gesteckt hätte, unverändert annehmen und kompilieren. Nicht einmal eine Funktionssignatur darf anders sein, und es muss ohne Rückfragen auf der Zielhardware laufen. Es muss ein Drop-in-Ersatz für CUDA sein.
      Dann wäre es trivial, PyTorch und alles andere für andere Chips neu zu kompilieren.

  • Interessant ist, dass mehr als die Hälfte der NVIDIA-Ingenieure Software Engineers sind. Jensen hat bewusst und strategisch einen starken Software-Stack auf den GPUs aufgebaut, und das seit Jahrzehnten.
    Solange Intel keinen CEO findet, der so technisch und strategisch ist wie Jensen, statt nur ein Manager zu sein, der auf Zahlen schaut, dürfte es schwierig werden, CUDA erfolgreich zu kontern.

    • Gelsinger als „nicht technisch“ zu bezeichnen, ist ziemlich weit von der Realität entfernt.
      Gelsinger kam 1979 im Alter von 18 Jahren zu Intel, war 1987 Mitautor eines Programmierbuchs zum 80386-Mikroprozessor und war Chefarchitekt des 1989 erschienenen 80486-Prozessors der vierten Generation.
      Mit 32 wurde er der jüngste Vice President in der Geschichte von Intel, 2001 wurde er CTO und leitete die Entwicklung zentraler Technologien wie Wi-Fi, USB, Intel Core, Intel Xeon und 14 Chipprojekte. Er startete auch das Intel Developer Forum als Gegenstück zu Microsoft WinHEC.
    • Wenn Gelsinger von der „gesamten Branche“ spricht, scheint das ziemlich nah an einer schlichten Tatsache zu sein. Jeder Player außer Nvidia hat einen Anreiz, die Bedeutung der proprietären Technologie CUDA zu verringern. Das bedeutet weit mehr Programmierer, als Nvidia einstellen kann.
      Selbst wenn Intel sich selbst ein Bein stellt, ist der Anreiz groß, mehr Chiphersteller hineinzuziehen. Es wird passieren; die Frage ist nur, ob es Monate, Jahre oder ein Jahrzehnt dauert.
      Persönlich würde ich auf die kürzere Seite setzen. Es sieht größtenteils nach einem Problem der Matrixmultiplikation aus, und plötzlich fließen enorme Summen und Aufmerksamkeit hinein. Auch AMDs APU-Strategie [0] beginnt mit der MI300A den High-End-Markt zu erreichen, was eine interessante Entwicklung ist.
      [0] Für alle, die diesen Trend nicht verfolgen: AMD hat Systemspeicher und GPU-Speicher zusammengeführt. Wenn ich es richtig verstanden habe, ist bei diesen Chips kein „Daten auf die GPU kopieren“ mehr nötig. Im Grunde bekommt die CPU eine große Erweiterung für Matrix-Mathematik. Früher steckte diese Technik in günstigen CPUs und war für AI-Workloads nicht nützlich, aber jetzt bauen sie sie in große Chips ein.
    • Die Stimmung, Pat Gelsinger wie einen Helden zu verehren, wirkt ziemlich seltsam. Mein Eindruck bei VMware war weniger technisch als eher zahlengetriebenes Management, und er schien zu sehr in persönliche Ressentiments oder Statusspiele verstrickt, um gute Entscheidungen in der technischen Führung zu treffen.
      Natürlich kann der erste Eindruck schlecht gewesen sein. Das Erste, was er bei der Übernahmeankündigung zu Pivotal sagte, war: „Ihr wart unsere Cousins, aber jetzt seid ihr eher unsere Kinder“, und dadurch war die ganze Stimmung seltsam.
    • Das gilt für Intel seit mindestens 10 Jahren und wahrscheinlich schon viel länger. Bei Nvidia ist es vermutlich fast seit dessen Bestehen so.
      Hardware ohne Software ist nur teurer Sand. Jedes Halbleiterunternehmen weiß das. Intel war mit x86 überhaupt erst derjenige, der dieses Gesamtpaket perfektioniert hat.
      Im Bereich GPU-Computing ist CUDA das x86. Es ist überall, faktisch Standard und wird eines Tages gestört werden. Die Frage ist, ob das 1 Jahr oder 10 Jahre dauert.

  • Es wäre großartig, wenn man eine Toolchain, ein Ökosystem und eine Programmiererfahrung schaffen würde, die besser sind als CUDA, und das auf allen Rechenplattformen mit Spitzenleistung kompatibel wäre. Alle würden gewinnen.
    Bis dahin wirken solche Behauptungen etwas lächerlich, besonders wenn man bedenkt, wie OpenCL bei der Programmer Experience und beim schwindenden Support gescheitert ist. Dasselbe gilt für Versuche, allgemeine GPU-Berechnungen über Compute Shader in DX/GL/Vulkan zu machen.
    Ist man wirklich „motiviert“? Es gab bereits Jahre Zeit, und die Ergebnisse sind verheerend. Ich weiß nicht, ob auch nur ein Bruchteil dessen investiert wurde, was in CUDA geflossen ist. Man muss es mit Geld zeigen, nicht mit Worten.

    • Es wäre schön, wenn AMD oder Intel einfach eine riesige CPU mit Tausenden Kernen herausbringen würden, die ohne spezielle Programmiersprache nutzbar ist.
      Ich will keinen Koprozessor, und ich will auch nicht, dass noch eine kaputte Spezialzwecksprache geschaffen wird, egal ob ein C/C++ mit lauter Sonderfällen oder ein halbgarer Python-Klon. Einfach mehr Kerne einbauen und echte Threads in normalen Programmiersprachen nutzbar machen.
    • Ich frage mich, was an Compute Shadern das Problem ist.

  • Intel und AMD hatten jahrelang Zeit, auf OpenCL ähnliche Funktionen bereitzustellen.
    Sie sollten wohl zuerst auf ihr eigenes Scheitern schauen.

    • SYCL ist eher ein Gegenstück zu CUDA als zu OpenCL, und Intel hat auch eine eigene Implementierung. Trotzdem sehe ich kaum jemanden, der tatsächlich etwas mit SYCL schreibt.
      Als ich es ausprobieren wollte, gab es mehrere Implementierungen, und jede unterstützte andere Teilmengen von Betriebssystemen und Hardware, was ziemlich chaotisch war.
      https://www.intel.com/content/www/us/en/developer/tools/onea...
    • Es müsste ähnliche Funktionalität, ähnliche Performance oder bessere Performance geben, aber derzeit gibt es nichts davon.
      Leute wollen auch auf Nvidia-Hardware keine langsamere und vielleicht billigere Rechenleistung kaufen. Warum sollten sie das dann auf Intel-Hardware tun? Da man auch die Apps ändern muss, wirkt das eindeutig von Anfang an schwierig.
      Ich bin kein Experte auf diesem Gebiet, aber übersehe ich etwas? Wenn die x86-Branche von dem wegkommen will, was Nvidia anbietet, muss Intel auf irgendeine Weise ein Feld „besser“ ausfüllen.
    • AMD und Intel haben beide OpenCL implementiert, und Nvidia ebenfalls. Die Branche hätte auf dieser gemeinsamen Sprache aufbauen können.
      Stattdessen hat man auf CUDA aufgebaut und beschwert sich nun, dass andere Hardwareanbieter kein CUDA haben.
      Ich denke, das lag daran, dass OpenCL die gemeinsame Teilmenge war, auf deren Implementierbarkeit sich mehrere Unternehmen einigen konnten. Ich habe Code geschrieben, der zu CUDA, OpenCL, C++ und OpenMP kompiliert, und es war immer wieder dasselbe: „Was, OpenCL kann nicht einmal das? Verdammt.“
    • Intel hat es vor einigen Jahren mit OneAPI versucht. Es stellte sich heraus, dass man Jahrzehnte zurücklag, und das Aufholen dauert an.
    • Bei Apple ist es genauso. Weil sich alle in dieser Situation nicht voll darauf eingelassen haben, konnte ein hochintegrierter Konkurrent den Markt abräumen. Rückblickend ist es interessant, dass das Wertversprechen von OpenCL viel klarer war.

  • Es wäre gut, wenn jemand mit tiefem Wissen im AI-Bereich erklären könnte, was der eigentliche Moat von CUDA ist.
    Dass es nicht die Hardware, sondern die Software ist, also das CUDA-Ökosystem, ist allen klar.
    Früher habe ich ein wenig mit Machine Learning gearbeitet, aber auf der Ebene, Modelle zu trainieren und anzupassen, habe ich High-Level-Bibliotheken genutzt, und soweit ich weiß entschieden diese Bibliotheken per if-Statement, welches Backend sie verwenden.
    Wenn man also annimmt, dass Intel und andere einen praktikablen Konkurrenten implementieren, ist es dann falsch zu glauben, dass der Umstieg für viele Nutzer reibungslos wäre? Für Forschende oder Leute, die Grenzen verschieben, vielleicht nicht, aber für die meisten Unternehmen scheinen die Migrationskosten nicht sehr hoch zu sein.

    • Das Verständnis stimmt, aber die Prämisse ist alles andere als einfach. Der Arbeitsaufwand, der in CUDA steckt, ist enorm, und NVIDIA steht nicht still und wartet darauf, dass die Konkurrenz aufholt.
    • Die Situation ähnelt stark den frühen IBM-PC-Kriegen. Anfangs gab es den IBM PC und diverse „Kompatible“, aber sie waren nicht vollständig drop-in-kompatibel, sondern nur holprig kompatibel, sodass viele Programme neu kompiliert werden mussten.
      Auch solche Produkte wurden von großen US-Unternehmen hergestellt. Sie wollten den PC nicht zur Commodity machen, sondern ein kleines Stück eines großen Marktes.
      Die echten PC-Klone, also rein drop-in-kompatible Produkte, wurden in Taiwan gebaut und dominierten den Markt. Große Unternehmen wollen keinen commoditisierten Markt mit niedrigen Preisen, in dem alle auf gleicher Ebene konkurrieren. Ein „reibungsloser Umstieg“ führt genau zu diesem Ergebnis, deshalb bauen diese Unternehmen ihn nicht.
    • Was es braucht, ist Rechenleistung pro Dollar auf Augenhöhe in High-Level-Bibliotheken. Das ist alles.
      Natürlich ist das leichter gesagt als getan. Selbst Googles TPU hat immer noch Mühe, bei Floating-Point-Rechenleistung pro Dollar mit der H100 mitzuhalten, und wenn man nicht Jax verwendet, ist die Nutzung auch ziemlich mühsam.
    • Man kann zusammenfassen, dass Nvidia einen Bottom-up-Ansatz gewählt hat. Sie begannen mit Hardware für parallele Verarbeitung und bauten darauf eine Entwicklungsumgebung auf.
      Die Konkurrenz, insbesondere Intel, scheint mit einem Top-down-Ansatz in den Markt eintreten zu wollen. Sie versucht, mit Hardware für sequenzielle Verarbeitung einen Teil des Inferenzmarkts zu gewinnen, und stützt sich im Grunde auf die Innovationen, die bei Nvidia stattfinden. CUDA wird immer einen Schritt voraus sein.
    • Zu sagen, der Moat sei Software, ist falsch. Der Moat ist vor allem weiterhin Rechenhardware mit sehr gutem Preis-Leistungs-Verhältnis und sehr gute Netzwerktechnik.
      Beim Training großer LLMs ist CUDA kein großer Moat. Das sieht man daran, dass Anthropic von CUDA zu Trainium gewechselt ist. Wahrscheinlich haben sie alle Kernel für Trainium neu geschrieben.

  • Es sieht nicht so aus, als wollten die Leute von CUDA weg. In den letzten Monaten habe ich mir mehrere Modelle und Tools angesehen, und die meisten sehen ungefähr so aus:
    device = "cuda" if torch.cuda.is_available() else "cpu"
    Ich habe noch keine einzige Implementierung von AMDs Neural-Network-Middleware gesehen: https://www.amd.com/en/developer/zendnn.html

    • Ich habe es selbst nicht ausprobiert, aber soweit ich es verstehe, überlädt das AMD/ROCm-Beschleunigungs-Backend für PyTorch die cuda-Devices und -Module, sodass ROCm bei Feature-Checks wie CUDA aussieht.
      Man will den Umstieg reibungslos machen, und weil bestehender Code oft auf CUDA prüft, tut man eben das Nötige, damit dieser Code läuft.
    • Das ist eher ein Henne-Ei-Problem. Die Entwickler solcher Projekte haben wahrscheinlich nicht einmal die entsprechenden AMD-Geräte zum Testen. Warum sollten sie auch?
      Der sinnvolle Weg, diesen Kreislauf zu durchbrechen, wäre, dass AMD aktiv Code, Tests und einfache „funktioniert sofort“-Installationen zu wichtigen populären Projekten beiträgt, um AMD-Support hinzuzufügen, und später mehr Hardware verkauft. Aber ich sehe nicht, dass AMD das tut.
    • Du hast offenbar die MI300X-Ankündigung nicht gesehen. Man muss diese Zeile nicht ändern, um AMD zu verwenden.
    • zendnn ist für CPUs. Die PyTorch-ROCm-Version erfordert keine einzige Codeänderung.
      Deshalb funktioniert device = "cuda" auch bei der Nutzung einer AMD-GPU weiterhin sinngemäß.

  • Intel hat in den letzten zehn Jahren nichts getan. Sie haben Milliarden Dollar für eine GPU verschwendet, die gerade so funktioniert, und sich auf ihr CPU-Monopol verlassen, Innovation ausgebremst und nur Gewinne abgeschöpft.
    Nvidia hat zumindest etwas geschaffen, das den Fortschritt bei KI unterstützt, und diese mutige Wette ist aufgegangen.

  • Pat Gelsinger und Lisa Su scheinen beide überhaupt nichts von Software zu verstehen, nicht einmal delegieren können sie offenbar. Sie erwarten, dass die „Community“ die Software für ihre extrem komplexe Hardware liefert.
    Bill Dalys Vortrag von Nvidia [1] zeigt, dass sie Hardware und Software gemeinsam weiterentwickelt haben. Das CUDA-Programmiermodell war vor langer Zeit eine riesige Wette, und sie haben Machine Learning/KI zu Recht gewonnen.
    Wenn Intel und AMD sich nicht radikal ändern, ist das Spiel vorbei. Sie werden gegen ARM und Nvidia verlieren.
    [1] https://www.youtube.com/watch?v=kLiwvnr4L80

    • Es ist nicht so, dass sie das Problem nicht verstehen. Gerade läuft ein riesiger Wettlauf um Marktbeherrschung, und niemand will Ressourcen darauf verschwenden, das Rad des Parallel Computing neu zu erfinden.
      Das ist deutlich schwieriger, als die Leute sagen.

  • Der Zug ist schon vor 10 Jahren abgefahren. Damals habe ich an der Uni einen Kurs zu General-Purpose-GPU-Computing belegt, vermutlich mit einem Namen wie „Heterogene Parallelprogrammierung“, und erst in der ersten Vorlesung erfuhr ich, dass sämtliche Hardware und Materialien kostenlos von NVIDIA gestellt worden waren.
    Das Ergebnis war ein reiner CUDA-Kurs, in dem Alternativen überhaupt nicht erwähnt wurden, wie früher diese Uni-Kurse zu Word und Excel.
    Nvidia ist wirklich gut darin, Burggräben aufzubauen oder einzukaufen.
    Bei PhysX fiel man ohne Nvidia-GPU selbst auf CPUs mit SSE-Unterstützung auf einen nicht optimierten, langsamen FPU-Pfad zurück: https://arstechnica.com/gaming/2010/07/did-nvidia-cripple-it... https://www.realworldtech.com/physx87/3/ „Aus Nvidias Sicht lässt eine Senkung der Basis-CPU-Leistung durch x87-Instruktionen und Single-Threading die GPU besser aussehen.“
    Das Programm „The Way It’s Meant To Be Played“ bezahlte Studios dafür, AMD direkt zu benachteiligen. Dass Ubisoft den DX10.1-Patch zurückgezogen hat, ist ein Beispiel: https://techreport.com/news/14707/ubisoft-comments-on-assass...
    Beim Programm „GameWorks“ ging man noch einen Schritt weiter und bezahlte Spielestudios dafür, Nvidias performancebremsende Bibliotheken direkt in Spiele einzubauen: https://techreport.com/review/21404/crysis-2-tessellation-to... https://arstechnica.com/gaming/2015/05/amd-says-nvidias-game... https://wccftech.com/fight-nvidias-gameworks-continues-amd-c...

  • Ich verstehe völlig, dass NVIDIA einen Anreiz hat, die CUDA-Dominanz aufrechtzuerhalten, und auch, dass andere Unternehmen wie AMD und Intel unter diesen Marktbedingungen ihre Chancen verpasst haben.
    Trotzdem ist es erwähnenswert, dass Verbraucher am Ende den Schaden tragen, wenn solche technischen und funktionalen Burggräben in bestimmten Use Cases ein faktisches Monopol aufrechterhalten.

    • In den meisten Fällen stimmt das, aber bei CUDA sehe ich die Verbraucher als Gewinner. CUDA ist kein besonderer geheimer, komplexer Algorithmus nur für Nvidia-GPUs. Es ist das Ergebnis davon, dass Nvidia sich zehn Jahre lang um die Developer Experience in verschiedenen Branchen gekümmert hat.
      CUDA wird nicht nur für AI genutzt, sondern auch für Physik, numerische Modellierung, Kryptografie, Biologie usw. Nvidia hat Tausende von Use Cases gefunden, Kundenfeedback aufgenommen und eine Plattform aufgebaut; AI ist dann zu einer riesigen Einnahmequelle geworden.
      Das Problem ist, dass Intel und AMD wahrscheinlich auch künftig nur auf den „AI“-Geldtopf schauen und den Rest der Plattform ignorieren werden, einschließlich Debugging, Compiler, Sprachintegration, GUI und Bugfixes.
      Wenn Intel sagen würde: „Wir investieren Milliarden Dollar in OpenCL, um eine erstklassige Developer Experience und Plattform zu gewährleisten und CUDA abzulösen“, wäre das spannend. Was man derzeit herausliest, klingt aber eher nach: „Wir ändern ein paar CUDA-Funktionsaufrufe in PyTorch.“ Das wird nur so lange Spaß machen, bis man in dem Moment, in dem man ein Performance-Problem debuggen muss, merkt, dass man statt direkt mit CUDA-Ingenieuren auf GitHub zu sprechen eine E-Mail an eine tote Intel-Mailingliste schicken muss.
    • AMD, Intel und Khronos können frei mit etwas Besserem konkurrieren. NVIDIA hindert sie nicht daran.
      In dieser Hinsicht ist CUDA ein großer Vorteil für Verbraucher. Denn die Alternativen sind wirklich miserabel.