- YC geht davon aus, dass LLMs die Kosten für den Entwurf maßgeschneiderter digitaler Systeme deutlich senken können, der zentrale Engpass liegt jedoch weniger in der Codegenerierung als im Entwurf und in der Verifikation von Chiparchitekturen
- Auch wenn LLMs gelegentlich funktionierendes Verilog erzeugen können, bleiben sie in der Leistung noch hinter Menschen zurück und können keine neuen Architekturen entwerfen, die die Performance moderner Beschleunigerchips bestimmen
- Der Ansatz zur Kostensenkung ähnelt der früheren High-Level Synthesis (HLS); auch HLS steigerte zwar die Produktivität, lieferte aber eine geringere Ergebnisqualität und Performance als RTL-Flows und wurde im Markt für hochwertige Chips nicht zum Mainstream
- Bereiche, in denen LLMs oder HLS helfen können, sind begrenzt, etwa FPGA-Beschleunigung für Teams mit wenig RTL-Expertise; Märkte wie Genomics oder CFD werden teilweise durch GPUs abgedeckt und sind zudem klein
- Die realistischere Chance liegt weniger in der Designautomatisierung als in der Produktivität bei der Chipverifikation; allerdings bleibt die Herausforderung, LLMs dazu zu bringen, komplexe Chipspezifikationen zu verstehen und darüber zu schlussfolgern
Der Engpass im Chipdesign, den YCs Vorschlag übersieht
- YC argumentiert in seinem aktuellen Request for Startups, dass das Design maßgeschneiderter digitaler Systeme wegen Custom Design, Entwicklung und Tests teuer war und dass große Sprachmodelle diese Kosten erheblich senken könnten
- Durch die Optimierung spezieller Algorithmen oder Berechnungen lassen sich Aufgaben wie Cryptocurrency Mining, Data Compression oder Special-Purpose Encryption 5x bis 100x schneller und mit 10x bis 100x weniger Energie ausführen
- Wenn Gary Tan und YC glauben, dass LLMs Chips entwerfen können, die 100-mal besser sind als die von Menschen, unterschätzen sie die Schwierigkeit des Chipdesigns und die Expertise von Designern erheblich
- LLMs schreiben manchmal funktionsfähiges Verilog, bleiben aber noch hinter Menschen zurück und besitzen nicht die Fähigkeit, neue Chiparchitekturen zu entwerfen, die die Performancegewinne moderner Beschleunigerchips antreiben
- Letztlich sind LLMs weniger die Instanz, die Chips deutlich besser macht, sondern eher ein Werkzeug, das durchschnittlichen Verilog-Code erzeugt
Die Grenzen des Kostensenkungsansatzes, die HLS schon zuvor erlebt hat
- Die Erwartung, mit LLM-basierten Tools die Kosten des Chipdesigns zu senken und dadurch die Wirtschaftlichkeit von Hardwarebeschleunigung auszuweiten, ähnelt früheren Versuchen mit High-Level Synthesis (HLS)
- HLS entstand 1998 mit der Gründung von Forte Design Systems; Cynthesizer wandelte SystemC auf Basis bestimmter Timing-Vorgaben automatisch in Verilog um
- HLS-Tools wandeln Code in Hochsprachen wie C, C++ oder Scala in Verilog um, das anschließend zu Logikgattern für ASICs und FPGAs synthetisiert werden kann
- Ziel war es, Teams ohne tiefgehende Verilog-Expertise dabei zu helfen, günstiger und einfacher Silizium zu entwickeln
- Cynthesizer setzte sich nicht breit durch; Forte wurde 2014 von Cadence übernommen und anschließend in Cadences HLS-Tool Stratus integriert
Die heutige Bewertung von HLS und der Markt für Hochleistungs-Chips
- Xilinx, heute AMD, hat HLS stark für FPGA-Beschleunigung vorangetrieben, und Vitis gilt in der Branche als eines der guten HLS-Tools
- Die Einleitung von Lan Huangs Überblick zum Stand der Technik bei HLS weist auf die Grenzen von HLS-Tools hin
- Designer sind weiterhin vielen Aspekten des Hardwaredesigns ausgesetzt
- Entwicklungszyklen sind weiterhin lang
- Die Quality of Results (QoR) bleibt deutlich hinter RTL-Flows zurück
- Auch Übersichten anderer Forschender kommen zu ähnlich enttäuschenden Ergebnissen
- HLS kann die Produktivität von Designern erhöhen, senkt aber die Performance der entstehenden Designs
- In wettbewerbsintensiven, hochwertigen Chipmärkten wie bei AI-Beschleunigern ist Performance die zentrale Wettbewerbskennzahl; daher ist es sinnvoller, die anfänglichen Kosten in Kauf zu nehmen, exzellente RTL-Designer einzustellen und schnellere Chips zu bauen
Das Wirtschaftlichkeitsproblem kleiner Beschleunigermärkte
- HLS hat sich bei hochwertigen Chips mit hohen Stückzahlen, bei denen Performance und Effizienz entscheidend sind, nicht etabliert; LLMs, die Verilog niedriger Qualität erzeugen, dürften vor demselben Problem stehen
- Einige erfolgreiche HLS-Anwendungsfälle liegen in Bereichen, in denen Ingenieure ohne Siliziumexpertise Hardwarebeschleunigung nutzen konnten
- FPGA-Beschleunigung von Genomics-Workloads
- FPGA-Beschleunigung von CFD-Workloads
- In solchen Fällen ist HLS wertvoll, weil die Ingenieure, die den jeweiligen Hardwarebeschleuniger bauen, keine Erfahrung darin haben, optimierte Designs auf RTL-Ebene von Grund auf zu erstellen
- Die Märkte für Hardwarebeschleunigung in Genomics und CFD sind jedoch relativ klein, GPUs decken bereits einen Teil der Nachfrage ab, und sie erreichen nicht einmal einen Bruchteil der Verkaufszahlen von AI-Chips oder Kryptobeschleunigern
- Wären diese Märkte größer, gäbe es die wirtschaftliche Rechtfertigung, erfahrene Hardwareingenieure für die Entwicklung optimierten Siliziums einzusetzen
Bereiche, die Kostensenkung erschließen kann, und ihre Grenzen
- LLMs können die Kosten der Siliziumentwicklung senken und so dedizierte ASICs für Anwendungen wie Genomics ermöglichen, die zuvor nicht wirtschaftlich waren
- Der Grund, warum solche ASICs zuvor nicht wirtschaftlich waren, ist allerdings, dass es sich nicht um riesige Märkte handelte
- Anwendungen, die noch keine Hardwarebeschleunigung benötigen, dürften kleine Märkte sein und sind damit ein schlechtes Ziel für Startups
- In wachsenden Märkten könnten von LLMs entworfene Chips niedriger Qualität ein günstiger erster Brückenkopf für Startups sein
- Sobald ein Markt groß genug wird, um ein vollständiges Chipdesign-Team zu rechtfertigen, dürften von Menschen entworfene Chips in naher Zukunft LLM-designte Chips bei der Performance leicht übertreffen
Die realistische Rolle von LLMs im Chipdesign
- Wenn LLM-basiertes Chipdesign vor allem Märkte mit geringem Wert erschließt, dann liegen die Gründe für Startups und etablierte EDA-Unternehmen, LLMs einzusetzen, woanders
- Ein LLM-Copilot für Verilog ist bestenfalls mittelmäßig, kann aber Zeit von Ingenieuren sparen und Unternehmenskosten senken, wenn er einfache Codefragmente schreibt
- Der wichtigere Bereich ist die Chipverifikation
- Da Silizium-Bugs in der Regel sehr teuer sind, braucht man üblicherweise zwei Verifikationsingenieure pro Designer
- Gute Verifikationsingenieure sind heute schwer zu finden
- Wenn LLMs Verifikation schneller, einfacher und effektiver machen können, entsteht für etablierte Halbleiterunternehmen ebenso wie für Halbleiter-Startups großer Wert
- Es ist jedoch keine kleine Aufgabe, LLMs dazu zu bringen, Chipspezifikationen tatsächlich zu verstehen und darüber zu schlussfolgern; gegenüber Ansätzen, feinabgestimmte LLMs wie bei Bronco oder Instachip schlicht auf Chipverifikation anzuwenden, ist Skepsis angebracht
Die für Verifikation nötigen Modelle und die Profiteure
- Chipspezifikationen sind oft komplex, unvollständig und labyrinthartig
- Erfolgreiche Chipverifikation erfordert, dass ein LLM den erwarteten internen Zustand des Chips versteht
- Im Kern muss ein Sprachmodell ein formales Modell des Chips besitzen; das ähnelt eher etwas wie AlphaProof, angewandt auf Halbleiterverifikation statt auf Mathematik
- Normal Computing arbeitet zusammen mit neuen thermodynamic chip architectures in diese Richtung
- LLMs können Chipdesign günstiger machen, aber die Hauptprofiteure sind große Halbleiterunternehmen, die Verifikationspersonal reduzieren können, klassische Chip-Startups, die mit kleineren Teams arbeiten können, und EDA-Software-Startups, die LLM-basierte Tools verkaufen
- LLMs werden keine 100-mal besseren Chips schaffen und auch keine Hardware-Startups ermöglichen, die Märkte mit fehlender Hardwarebeschleunigung adressieren; die Wirtschaftlichkeit passt nicht
1 Kommentare
Meinungen auf Hacker News
Im EDA-Bereich haben LLMs noch einen weiten Weg vor sich
Vor ein paar Monaten fragte jemand auf LinkedIn die großen LLMs nach der Gesamtkapazität einer Schaltung mit drei Kondensatoren, die entgegen der Intuition gezeichnet war, tatsächlich aber parallel geschaltet waren, und keines davon lag richtig. Sie hielten sie nicht nur fälschlich für in Reihe geschaltet, sondern berechneten auch die Reihenkapazität selbst falsch, und selbst mit mehreren Prompts kam keine richtige Antwort heraus.
Außerdem sah ich Werbung für ein KI-Tool, das beim Verstehen von Schaltplänen helfen soll. In einer Schaltung, die wie ein Gitarren-Distortion-Pedal aussah, erkannte es zwar korrekt, dass ein Kondensator Gleichstrom blockiert, übersah aber, dass er Teil eines RC-Hochpassfilters ist. Die Erzählstimme meinte: „In vier Jahren Elektrotechnik haben sie mir nicht einmal das beigebracht“, was lustig war – ich fragte mich, ob sie wirklich weder die Gleichstromsperre durch Kondensatoren noch RC-Filter lehren.
In diesem Bereich müsste man wohl einen selbst kuratierten Datensatz erstellen und ein spezialisierteres Modell trainieren. Allgemeine Modelle irren viel zu sehr herum.
Viele Menschen mit Hochschulausbildung glauben auch nicht, dass sie in einem bestimmten Kurs etwas Bedeutendes gelernt haben. Dass solche Leute in diesem Fach nichts Bedeutendes gelernt und behalten haben, kann ich mir gut vorstellen; ob die Schuld daran beim Unterricht liegt, ist deutlich fraglicher.
RC-Schaltungen waren wirklich hart.
LLMs in Phasen einzusetzen, die ohnehin nicht reproduzierbar sind, etwa Ideenfindung oder Lernen, ist in Ordnung. Aber ich kann immer noch kaum glauben, dass Ingenieure einen langsamen, teuren und nichtdeterministischen Blackbox-Baustein in den Kern extrem komplexer Systeme setzen wollen, die Zuverlässigkeit, Prüfbarkeit und Verständlichkeit erfordern.
Ich erinnere mich, eine Beweisführung oder Vermutung gesehen zu haben, dass es unmöglich ist, eine „LLM-Firewall“ zu bauen, die alle möglichen Prompts blockiert; vielleicht erinnere ich mich aber falsch.
[1] https://arxiv.org/abs/2410.07283
Beim Rest hast du recht. Sie sind noch nicht prüfbar oder verständlich.
Aufgaben, die tiefes „Verstehen“ oder neue Erfindungen erfordern, sollte man keinem statistischen Wortgenerator überlassen. Ich habe noch keinen einzigen Fall gesehen, in dem ein LLM wirklich etwas Neues erfunden hat – in dem Sinne, dass Fachleute des jeweiligen Bereichs es als neu einstufen würden.
Wo LLMs glänzen, ist das Erzeugen von Boilerplate, und das ist sehr nützlich. Bisher habe ich bei LLMs nichts gesehen, das wie ein eigenständiger „Gedanke“ wirkt. Und das, obwohl ich KI täglich bei der Arbeit nutze.
ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
MatPilots Entdeckung neuer Materialien: https://arxiv.org/abs/2411.08063
Und es gibt auch das Lernen mit digitalen Zwillingen in Nvidia Omniverse.
https://blog.google/technology/ai/google-ai-big-scientific-b...
Es hat seinen Grund, dass Namen wie Timsort oder Dijkstra verwendet werden. Um so etwas zu erfinden, braucht es seltene menschliche Kreativität. Wenn ein LLM nicht einmal einen neuen Sortieralgorithmus hervorbringen kann, der sinnvoll besser ist als bestehende Algorithmen, wird eine viel schwierigere Aufgabe wie Chipdesign erst recht schwer.
YC interessiert sich nicht dafür, ob Chipdesign mit LLMs „sinnvoll“ ist. Wie andere VCs sind sie technisch inkompetent; sie interessieren sich nur dafür, hypegetriebene Startups am Fließband zu produzieren, die vielleicht übernommen werden.
Gary Tan ist nicht daran interessiert, „bessere Chips zu bauen“, sondern daran, einen Trottel zu finden, der ein mieses, hypegetriebenes Unternehmen für ein paar Milliarden Dollar kauft. Eine altmodische Investmentbank wäre dafür wohl genau passend.
YC ist technisch inkompetent und keine Organisation, die die Welt verbessern will. Alles, was sie sagen, ist gelogen und verschleiert ihre wahre Absicht: Geld zu verdienen.
Zweitens: Kannst du ein Beispiel für ein „hypegetriebenes Unternehmen“ ohne echten Umsatztreiber nennen, das für „ein paar Milliarden“ verkauft wurde?
Drittens vermitteln Investmentbanken den Verkauf von Vermögenswerten; sie kaufen sie nicht selbst.
Wenn du nicht einmal die Grundlagen von VCs, Startups und Banken kennst, solltest du dich aus dieser Diskussion vielleicht besser heraushalten.
Ich habe ein Jahr im DSP-Architekturteam von Qualcomm gearbeitet und daher ein wenig Erfahrung in diesem Bereich, aber nicht sehr viel.
Der Autor übersieht beim Chipdesign ein paar wichtige Punkte. Der Großteil der Zeit und Arbeit fließt nicht in das Schreiben von High-Performance-Verilog. Designer verbringen enorm viel Zeit damit, Fragen zu beantworten, Dokumente zu schreiben, Boilerplate zu kopieren und obskure Handbücher und Diagramme zu lesen. LLMs können bei all diesen Dingen bereits helfen.
Ich denke, dass schon LLMs im heutigen Zustand ein Designteam mindestens doppelt so schnell machen können; mit besseren Tools könnten auch 4x oder 10x möglich sein, selbst ohne bessere Modellintelligenz. Der größte Gewinn wird daraus kommen, mehr Experimente laufen zu lassen, mehr Dinge auszuprobieren, schneller Feedback zu Designentscheidungen zu bekommen und weniger Zeit für Dokumentation, Kommunikation und das Lesen schlechter Dokumentation aufzuwenden.
„Wie sich herausstellt, sind LLMs selbst bei Chips in profitablen Märkten ziemlich wertvoll. Sie werden nur nicht den Großteil der Designarbeit erledigen. Ein LLM-Copilot für Verilog ist bestenfalls mittelmäßig. Aber wenn man LLMs einfache Code-Schnipsel schreiben lässt, spart das Ingenieurszeit und senkt letztlich auch die Kosten für den Arbeitgeber.“
Dass Designer 2x schneller werden, halte ich wahrscheinlich für optimistisch, aber ich könnte mich irren. Der Großteil meiner Erfahrung im Chipdesign konzentrierte sich in einem kleinen Unternehmen mit guter Dokumentation auf Datapath-Architektur und -Design; möglicherweise unterschätze ich daher, wie viel Boilerplate der durchschnittliche Engineer bewältigen muss.
Trotzdem glaube ich nicht, dass LLMs in absehbarer Zeit High-Performance-Datapaths oder Networking-Verilog entwerfen werden.
Den meisten technischen Argumenten des Artikels stimme ich zu.
Trotzdem kann es wertvoll sein, dass YC in diesem Bereich Innovation einfordert. Der Artikel zeigt richtigerweise, dass es bei der Anwendung von LLMs auf Chipdesign keine einfachen Erfolge gibt. Wenn der Markt für eine bestimmte Anwendung zu klein ist, bringt selbst LLM-Unterstützung nicht viel; und wenn ein Chip zu wichtig ist, will man die besten Engineers einsetzen. Anders als bei Software ist der Long-Tail-Effekt im Chipdesign nicht groß. Ein Chip-Tapeout ist nichts, was ein Hacker mal eben machen kann, und selbst mit FPGAs herumzuspielen hat eine höhere Einstiegshürde als Hacking am PC.
Wenn es aber einen offensichtlichen Weg nach vorn gäbe, müsste YC nicht nach innovativen Ansätzen rufen.
Das zeigte sich auch, als George Hotz mit seinen AI-Chip-Plänen Chipfirmen umkrempeln wollte https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... Er schien die Komplexität nicht richtig zu kennen. Anerkennen muss man allerdings, dass er schnell auf Software und tiny-box als Hersteller umgeschwenkt ist.
Bitweise, nicht-von-Neumann’sche universelle systolische Arrays können nicht nur AI-Berechnungen, sondern fast alles deutlich beschleunigen. Gemeint ist ein Chip für universelle Berechnungen.
Das Chipdesign selbst ist fast trivial. Ich glaube, jemand mit ein paar Jahren Erfahrung könnte es in wenigen Tagen bauen. Ich möchte ein Design beim nächsten TinyTapeout einreichen. Wegen meines festen Einkommens musste ich eine Weile warten.
Das eigentliche Problem ist die Programmierung. Das ist fast ein grenzenloses Neuland. Es gibt keine gute Methode, diese Architektur als Target zu nutzen, und man wird dafür weder Verilog noch eine andere Hardware Description Language verwenden wollen.
Was den LLM-Boom angeht, wird man meiner Meinung nach am Ende erkennen, dass die Kombination von LLMs und Algorithmen viel mehr leisten kann als LLMs allein. „Algorithmen“ ist hier vielleicht nicht das passende Wort; gemeint sind Hilfswerkzeuge wie Datenbanken, Algorithmen oder andere Modelle. Man könnte einem LLM zum Beispiel nicht den gesamten Datensatz beibringen, sondern nur die Zugriffs-API.
Über Chipdesign weiß ich gar nichts.
Aber Aussagen wie „AI auf Bereich X anzuwenden funktioniert nicht, weil X komplex ist und aktuelle LLMs schlechter sind als Menschen“ klingen für mich immer verdächtig.
VCs investieren nicht darin, X mit heutigen LLM-basierten Systemen zu verbessern, sondern in eine Zukunft, in der LLM-basierte Systeme 100-mal leistungsfähiger sind.
Schreiben war auch komplex, und LLMs waren früher schlechter als Menschen, aber heute ist das anders. Bei digitaler Kunst und Musik ist es genauso. Man muss sich nur suno.AI ansehen. Da gibt es ein Muster.
Der Großteil von Experten-Verilog ist nicht öffentlich, daher sind LLMs in Verilog in der Regel deutlich schlechter als in Python. Und trotzdem sind LLMs auch in Python ziemlich schlecht.
Einige davon können sehr willkürlich wirken, und um sie richtig zu treffen, braucht man tiefes Verständnis. Aus Tokens wie in Sprache allein lässt sich das nicht ableiten. Ein grundlegendes Verständnis physikalischer Gesetze und Faustregeln ist entscheidend.
Wenn LLMs in diesem Bereich für irgendeinen Use Case gut werden, profitieren davon nicht kleine Startups, sondern bestehende Chipdesign-Firmen.
Chipdesign wirkt nicht besonders ähnlich. Es ist eher ein Fall, in dem speziell trainierte Tools hilfreich sind. Die Fähigkeiten, die General-Purpose-LLMs bei bestimmten Aufgaben gezeigt haben, sind erstaunlich, aber bei manchen Dingen wirkt es sehr schwer vorstellbar, dass ein auf einem breiten Textkorpus trainiertes Modell spezialisierte Tools übertrifft. Um auf den ersten Absatz zurückzukommen: Klingt es nicht wirklich fragwürdig, zu glauben, dass ein auf Text trainiertes Modell im Schach Stockfish schlagen wird?
YC geht es wie den meisten Investoren: Bei AI wird derzeit breit gestreut und gebetet.
So wie ich es lese, geht es darum: Hardware-Beschleunigung für einen bestimmten Algorithmus kann 100-mal schneller und effizienter sein als derselbe Algorithmus als Software auf einem Allzweckprozessor, und da automatisiertes Chipdesign sich als schwieriger Problemraum erwiesen hat, will man AI darauf anwenden, um die Einstiegshürden für spezialisierte Hardware-Beschleuniger für verschiedene Aufgaben zu senken.
Ich glaube nicht, dass damit gemeint ist, AI sei im Chipdesign 100-mal besser als Menschen; genau darin sehe ich den von ihnen angesprochenen Engineering-Trade-off. Allerdings ist die Formulierung schmerzhaft holprig und vertriebslastig, daher kann man niemandem verdenken, wenn sie verwirrend wirkt.
Außerdem scheint der Originalbeitrag den Kern zu verfehlen, wenn er sagt, die Zielanwendungen hätten zu kleine Märkte, um sie zu verfolgen.
Für sich genommen ist jeder einzelne Markt vielleicht nicht groß genug, um die Marktkapitalisierung eines Unternehmens zu rechtfertigen, aber ein hypothetisches AI-Chip-Startup könnte mehrere solcher kleinen Märkte gleichzeitig angehen. Wäre das nicht eine Long-Tail-Strategie?
Ein guter Artikel, aber das zentrale Prinzip von YC ist die Annahme, dass sich Technologie weiter exponentiell entwickelt, und dann zu überlegen, was dadurch möglich wird.
Ihre Vorschläge gehen immer davon aus, dass Startups auf einer Art Moore’s Law für AI mitreiten werden, und Hardware-Synthese ist ein naheliegender Use Case. Mit anderen Worten: Sie nehmen an, dass es innerhalb von zwei Jahren ein erfolgreiches Unternehmen für AI-Hardware-Synthese geben wird, und versuchen, dieser Kurve voraus zu sein.
Ich stimme zu, dass sie damit wahrscheinlich falschliegen, aber der Artikel erklärt nicht wirklich, warum es falsch sein soll, auf exponentielle Fortschritte bei den Fähigkeiten von AI zu setzen.