Ich habe am Ende meines Beitrags zu AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) einen Anhang hinzugefügt, der Googles Erwiderung und den AlphaChip-Algorithmus insgesamt behandelt.
Kurz gesagt: Ich denke, die Nature-Autoren haben einige berechtigte Kritikpunkte an der Trainingsmethodik der ISPD-Autoren vorgebracht. Allerdings ist AlphaChip im Vergleich zu kommerziellen automatischen Floorplannern und AutoDMP weiterhin wegen zu hoher Rechenkosten und Laufzeiten wenig konkurrenzfähig. Trotzdem sollten die ISPD-Autoren eine strengere Studie vorlegen, die alle Kritikpunkte der Nature-Autoren behandelt; schon eine Bewertung der von Google veröffentlichten vortrainierten Checkpoints wäre für die Debatte nützlich.
Im Fazit des Beitrags hieß es: „Ich räume ein, dass die ISPD-Autoren einiges besser hätten machen können, aber die Schlussfolgerung bleibt gültig. Die Nature-Autoren gehen nicht darauf ein, dass CMP und AutoDMP bei deutlich geringerer Laufzeit und deutlich geringerem Rechenbedarf bessere Leistung als CT erzielen.“ Einer der Kernpunkte der Erwiderung ist jedoch, dass für den Vergleich sehr viel geringere Ressourcen verwendet wurden.
Schon dieser eine Grund scheint auszureichen, um die Gültigkeit der Schlussfolgerungen der ISPD-Studie infrage zu stellen. Wie siehst du das? Außerdem ist dieser Kommentar neutral formuliert, während der Beitrag gegenüber den AlphaChip-Autoren Ausdrücke wie „arrogance“, „disdain“, „hyperbole“, „belittling“ und „hostile“ verwendet und den Vice President von Synopsys als „excellent“ bezeichnet. Mich würde auch interessieren, woher dieser Unterschied im Ton kommt.
Wenn für Inferenz etwa 16 GPUs rund 6 Stunden und für das Pretraining 48 Stunden eingesetzt werden, ist das kein übermäßiger Rechenaufwand.
In der Cloud kosten GPUs etwa 1–2 Dollar pro Stunde; die Inferenz liegt also bei ungefähr 100–200 Dollar, das Pretraining bei etwa 800–1600 Dollar, und die Kosten für das Pretraining amortisieren sich über mehrere Chips. Cloud-Preise liegen eher am oberen Ende, und die meisten Informatiklabore verfügen über deutlich mehr On-Premises-Ressourcen als das. In der Industrie sind solche Kosten im Vergleich zu den übrigen Kosten eines Chipdesign-Prozesses verschwindend gering; allein Lizenzen für kommerzielle EDA-Software kosten oft Millionen Dollar.
Aus heutiger Sicht sehe ich keinen Grund, Jeff Dean nicht zumindest einen Mindestvorschuss an Vertrauen zu geben. Seine Bilanz ist schwer mit irgendjemandem zu vergleichen, und er ist immer noch aktiv. Gab es etwas, das einen Schatten auf ihn werfen würde? Manchmal hat der Bote selbst Gewicht.
Hier scheint er auf der Seite der falschen Leute zu stehen. Im Kern ist er ein System Builder, kein Experte für Chipdesign oder EDA, und streng genommen auch kein Machine-Learning-Forscher.
Manche würden sagen, er sei von einem charismatischen jungen Hochstapler hineingezogen worden und stecke nun zu tief drin, um noch zurückzurudern. Dass er sich auf dieses Projekt konzentriert hat, hat seiner Position innerhalb von Google auch nicht geholfen; im vergangenen Jahr gingen alle wichtigen Dinge an Demis über, und ihm blieb nur noch ein eher ehrenamtlich wirkender Titel. Angesichts seiner Leistungen ist das ziemlich traurig.
Als Jeff Dean 2020, 2021 und 2022 Vorträge hielt, ergab ein solcher Vertrauensvorschuss Sinn. Jetzt reagiert er auf Skepsis aus der EDA-Community jedoch mit unwissenschaftlichen persönlichen Angriffen und vagen Hinweisen darauf, dass es von „vielen Unternehmen“ genutzt werde.
Meiner Ansicht nach sind wir über die Phase der wohlwollenden Annahmen hinaus und in einem Bereich angekommen, in dem erhebliche Zweifel möglich sind.
Ich frage mich, warum in dieser Debatte so viel Emotion und Verärgerung steckt. Wie konnte aus einer langweiligen akademischen Auseinandersetzung über Benchmarks oder Signifikanz ein Streit mit persönlichen Angriffen werden?
Viele arbeiten mit Implementierungsansätzen, die nicht auf AI beruhen.
Wenn man große Behauptungen aufstellt, ohne eine Möglichkeit zur Reproduktion zu bieten, und dann zur Presse läuft, frisst die Presse alles.
„AI entwirft AI … nein, sie entwirft Chips“ klingt für geisteswissenschaftlich geprägte Leute futuristisch, und offenbar auch für Programmierer, die eigentlich jeder „AI“ misstrauen sollten. Schon die Einreichung bei Nature und der gesamte Publikationsprozess wirken unehrlich. Warum nicht etwas wie ISCCC?
Wegen des Geldes.
Wenn du das schon als unangenehm empfindest, solltest du dir die Umweltaktivisten ansehen, die Jeff Dean auf Twitter angreifen wollen.
Das Problem ist, dass die kommerziellen Anreize von Big Tech rund um AI die Gewässer der „langweiligen akademischen“ Forschung verunreinigt haben und unehrliche Informationswerbung hervorgebracht haben, die sich als Journal-Artikel oder arXiv-Preprints tarnt[1].
In der Folge steckt moderne AI-Forschung in einer Reproduzierbarkeitskrise, die deutlich schlimmer ist als in den Sozialwissenschaften, während es dafür viel weniger legitime Ausreden gibt. Wenn Google nicht lügt, müsste es nur die Benchmark-Daten veröffentlichen, damit unabhängige Leute sie prüfen können, und ein Großteil der Kontroverse würde verschwinden; dennoch weigert man sich weiterhin: https://cacm.acm.org/news/updates-spark-uproar/ Google scheint zu glauben, man solle die Schlussfolgerungen einfach aufgrund von Autorität akzeptieren. Außerdem hieß es in dem geleakten Paper des Whistleblowers Satrajit Chatterjee, den Google 2022 entlassen hat, der „30–35 %“-Vorsprung von RePlAce stimme mit Ergebnissen überein, die Googles damalige „übermenschliche“ Behauptungen über seinen AI-Ansatz für Chipdesign widerlegten. Die „persönlichen Angriffe“ auf Jeff Dean sind völlig angemessen, denn der Kern der Kritik ist, dass sein Charakter unehrlich und autoritär ist. Er veröffentlicht fragwürdige Forschung und feuert Menschen, die widersprechen.
[1] Dass Jeff Dean ein kritisches Paper verspottet, weil es ein Konferenzpaper ist, ist besonders widerlich. Eine unglaublich miserable Haltung.
Laut Jeff Deans Tweet haben Cheng et al. nicht die Schritte befolgt, die nötig gewesen wären, um die Arbeit der Google-Forscher zu reproduzieren.
Insbesondere sagte er: „Die Autoren haben überhaupt kein Pre-Training durchgeführt, obwohl Pre-Training im Nature-Paper 37-mal erwähnt wird; dadurch wurde der lernbasierte Ansatz seiner Fähigkeit beraubt, aus anderen Chip-Designs zu lernen.“ Im Circuit-Training-Repository von Google[1] heißt es jedoch ausdrücklich: „Die Ergebnisse beim Training from scratch sind ähnlich gut oder besser als die Ergebnisse des Papers, bei denen ein vortrainiertes Modell feinabgestimmt wurde.“ Vielleicht verstehe ich etwas falsch, aber was gilt nun? Haben sie es vermasselt, weil sie kein Pre-Training durchgeführt haben, oder haben sie eine faire Reproduktion nach dem im Repository beschriebenen „Verfahren“ versucht? Dass die UCSD-Gruppe mehrere Schritte per Reverse Engineering nachvollziehen musste, lässt es so wirken, als seien die Paper-Ergebnisse allein nicht reproduzierbar gewesen.
[1]: https://github.com/google-research/circuit_training/blob/mai...
In Markovs Paper gibt es ebenfalls Links zu Papers anderer Autorengruppen von Google, und auch dort fällt der Nutzen von Pre-Training sehr gering aus.
Außerdem kann es bei einer kleinen Zahl von Benchmarks kontraproduktiv sein, Googles vortrainiertes Modell unbekannter Herkunft zu verwenden. Google hat vermutlich mit allen verfügbaren Benchmarks trainiert und es dazu gebracht, die optimalen Lösungen kommerzieller Tools wiederzugeben.
„Training from scratch“ könnte auch bedeuten, dass neue Design-Versuche mit früheren Designs gemischt werden.
Dann gibt es keinen Widerspruch. Es ist der Unterschied zwischen einem Vorgehen, bei dem man mit früheren Designs vortrainiert und anschließend auf das neue Design feinabstimmt, und einem Vorgehen, bei dem man von Anfang an über die gesamte Dauer hinweg alle Daten gemischt trainiert. Fine-Tuning kann katastrophales Vergessen verursachen, und beide Varianten können besser abschneiden, als frühere Designs überhaupt nicht einzubeziehen.
Das Circuit-Training-Repository zeigt eher ein einfaches Beispiel. Es ist üblich, dass Open-Source-Repositories einfache Beispiele zum Testen oder Validieren der Einrichtung beschreiben; das bedeutet nicht, dass dies generell der Weg zu optimalen Ergebnissen ist.
Die Verwirrung könnte daher rühren, dass in diesem Beispiel gesagt wurde, es liefere ähnliche Ergebnisse wie die Pre-Training-Ergebnisse des Papers. Aber das ist eindeutig keine Absage an Pre-Training insgesamt. Wenn Cheng et al. das wirklich unklar fanden, hätten sie die korrespondierenden Autoren kontaktieren sollen. Wenn sie das Gefühl hatten, Teile des Repositories per „Reverse Engineering“ nachvollziehen zu müssen, hätten sie auch danach fragen sollen.
Chatterjee, der in dem verlinkten Artikel wie der Bösewicht dargestellt wurde, scheint Google inzwischen zu verklagen. Offenbar sieht er den Grund für seine Entlassung darin, dass er darauf hingewiesen hatte, sein Vorgesetzter Jeff Dean stelle wissentlich falsche Behauptungen auf.
„Um es klar zu sagen: Es gibt keine Belege dafür, dass RL besser ist als der akademische Stand der Technik oder die stärksten kommerziellen Macro-Placer. Der Vergleich mit Letzteren ist so mangelhaft, dass die kommerziellen Tools in vielen Fällen wegen Installationsproblemen nicht einmal liefen“ — diese Formulierung soll aus einem Screenshot von Jeff Deans interner Präsentation stammen. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Als Außenstehender ist es sehr schwer zu beurteilen, ob Chatterjee eine schlechte und teure Einstellung war, die die guten Ergebnisse seiner Kollegen unterdrückt hat, oder ein äußerst wertvoller Mitarbeiter, der falsche Präsentationen verhindern wollte.
Es wurde wirklich sehr viel Zeit verschwendet.
Er führte sogar gemeinsam mit Markov interne Forschung durch, doch die AlphaChip-Autoren erklären es so: 2022 habe ein unabhängiges Gremium von Google den Entwurf geprüft und festgestellt, dass „die Behauptungen und Schlussfolgerungen des Entwurfs wissenschaftlich nicht durch Experimente gestützt werden“ und dass „die unabhängige Reproduktion der Ergebnisse des ursprünglichen Datensatzes von [AlphaChip] Zweifel an den RL-Ergebnissen von [Markov et al.] aufwarf“. Die Autoren hätten dem Gremium ein einzeiliges Skript bereitgestellt, das deutlich bessere RL-Ergebnisse erzeugte als von Markov et al. berichtet; diese Ergebnisse seien sogar besser gewesen als deren „stärkere“ Simulated-Annealing-Baseline. Sie sagen, sie wüssten bis heute nicht, wie Markov und seine Mitautoren die Zahlen in ihrem Paper erzeugt haben.
(https://arxiv.org/pdf/2411.10053)
Menschen einzustellen, die in Wissenschaft, Finanzwesen oder anderswo Betrug oder Manipulation begehen, ist tatsächlich ein großes Problem.
Der beste, vielleicht einzige Weg, das zu reduzieren, sind interne Anreize und Kontrollen sowie Kultur. Wenn man in jedem Zyklus mit Nachdruck endlose Verbesserungen um ein paar Prozent verlangt und dann Leute befördert, die diese Verbesserungen regelmäßig liefern, ohne überhaupt zu prüfen, ob die Leistung je existiert hat, passiert am Ende unabhängig von der Größe dasselbe. Das kann in einem kleinen Team passieren, in einer Abteilung, einem Unternehmen, einem Hedgefonds, der viele solcher Unternehmen hält, einem Dachfonds solcher Fonds oder in der Bundesregierung. Früher oder später wird die Führungsebene erheblich von Menschen ohne Gewissen durchdrungen. Die anhaltenden Publikationsskandale in der Wissenschaft und die zahllosen Fälle in der Finanzbranche sind Beispiele dafür. Holmes und SBF sitzen im Gefängnis, aber die Menschen, die sie finanziert haben, und ähnliche Kreise stehen weiterhin an der Spitze des Einflusses, tragen ihre Ideologie weiter und haben inzwischen sogar bessere Anwälte. Es gibt das alte Sprichwort: „Der Fisch stinkt vom Kopf her.“ Wenn man all die Fragwürdigkeiten und ständigen Skandale bei symbolträchtigen Führungspersönlichkeiten der STEM-Industrie sieht und sagt: „Gut gemacht, sie haben das System geschlagen“, dann ist kaum etwas anderes zu erwarten, als dass eine ehrliche und faire bestehende Ordnung von allen Seiten angegriffen wird. Auch wir haben letztlich mit den Füßen für ein quasi-religiöses Ideal von „Macht ist Recht“ gestimmt, und ich war selbst ein Teil davon, bis ich aus Abscheu aufgehört habe. Es wird unterschiedlich Objectivism, Effective Altruism oder Capitalism genannt, ist aber nicht einmal echter Kapitalismus. Man kann sich nicht wundern, dass alles klebrig verschmutzt ist. Die Antwort für heute kenne ich nicht wirklich. Vielleicht: bei weniger schlechten Unternehmen arbeiten, Missbrauch zumindest anonym offenlegen und genau hinhören und prüfen, was Führungskräfte in Interviews sagen. Andere Vorschläge würde ich gern hören.
Ich verstehe, dass Jeff unter Druck steht, hier zu antworten. Sein Name steht schließlich auf fast allen Forschungsergebnissen von „Google Brain“.
Aber „es ist reproduzierbar, weil diese Leute zu dumm waren, es zu reproduzieren“ ist keine Widerlegung, sondern Schikane. Die Kritiker haben offenbar einen Nerv getroffen, und es klingt so, als gebe es keine gute Möglichkeit, die Reproduzierbarkeitsprobleme zu widerlegen, die seine Forschung offenlegt.
In dem verlinkten Tweet wird diese Behauptung nicht aufgestellt. Seine Aussage ist: „Sie konnten es nicht reproduzieren, weil sie das Verfahren nicht befolgt haben“, und unabhängig von der Motivation für diese Aussage wirkt das ziemlich vernünftig.
Wenn sie die Reproduktionsschritte, etwa Pretraining oder ausreichend Rechenleistung, nicht befolgt haben und dann gescheitert sind, sehe ich nicht, was daran falsch sein soll, auf die Mängel dieses „Reproduktions“-Versuchs hinzuweisen.
Wo steht das? Dean nennt in seinem Tweet konkrete Schritte, die die Autoren übersehen haben.
Zum Glück hat er das nicht gesagt.
Der Tweet sagt lediglich, dass der Reproduktionsversuch der ursprünglichen Methodik tatsächlich nicht gefolgt sei. Es steht nichts davon, dass die Autoren des Reproduktionsversuchs „dumm“ seien oder Ähnliches; das ist einfach erfunden. Auch die offensichtlich fehlerhafte Logik „weil sie es nicht reproduzieren konnten, ist es reproduzierbar“ ist eine komplette Erfindung.
Es ist schon amüsant, wegen des Arbeitgebers der Kritiker Befangenheit zu behaupten, als hätte die Arbeit bei Google keinen Interessenkonflikt.
Ist Google nicht genau das Unternehmen, das verzweifelt jede Art von „Wir machen auch AI“-Entwicklung aufbläst, um den Aktienkurs hochzutreiben? Jeff scheint so viel Kool-Aid getrunken zu haben, dass er vergessen hat, was Wasser ist.
Googles letztendlicher Beweis wäre, bessere Chips als die Konkurrenz zu bauen. Im Moment tun sie das nicht.
Die Kritik „ihr habt beim Reproduzieren unserer Methode nicht genug Rechenressourcen eingesetzt“ wirkt heutzutage etwas komisch. Klar, natürlich, ihr seid ja Google.
Das klingt, als könne man eure Methodik nicht prüfen, wenn man keine eigene Cloud besitzt. Es überrascht zwar nicht, dass mehr Rechenleistung und mehr Pretraining nützlich sind, aber dann wird die Verifikation schwierig. Es gibt auch eine interessante Kehrseite: Google hat enorme Rechenressourcen, aber Synopsys hat enorme Mengen an Daten zum Trainieren. Natürlich unter der sehr großen Voraussetzung, dass sie überhaupt mit dem geistigen Eigentum ihrer Kunden trainieren dürfen.
Chipdesigner führen EDA-Tools on-premises aus. Wie sollte ein EDA-Unternehmen an Kundendaten kommen? Unter NDA vielleicht zu Debugging-Zwecken, aber deshalb kann man noch lange nicht mit geistigem Eigentum der Kunden trainieren.
1 Kommentare
Meinungen auf Hacker News
Ich habe am Ende meines Beitrags zu AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) einen Anhang hinzugefügt, der Googles Erwiderung und den AlphaChip-Algorithmus insgesamt behandelt.
Kurz gesagt: Ich denke, die Nature-Autoren haben einige berechtigte Kritikpunkte an der Trainingsmethodik der ISPD-Autoren vorgebracht. Allerdings ist AlphaChip im Vergleich zu kommerziellen automatischen Floorplannern und AutoDMP weiterhin wegen zu hoher Rechenkosten und Laufzeiten wenig konkurrenzfähig. Trotzdem sollten die ISPD-Autoren eine strengere Studie vorlegen, die alle Kritikpunkte der Nature-Autoren behandelt; schon eine Bewertung der von Google veröffentlichten vortrainierten Checkpoints wäre für die Debatte nützlich.
Schon dieser eine Grund scheint auszureichen, um die Gültigkeit der Schlussfolgerungen der ISPD-Studie infrage zu stellen. Wie siehst du das? Außerdem ist dieser Kommentar neutral formuliert, während der Beitrag gegenüber den AlphaChip-Autoren Ausdrücke wie „arrogance“, „disdain“, „hyperbole“, „belittling“ und „hostile“ verwendet und den Vice President von Synopsys als „excellent“ bezeichnet. Mich würde auch interessieren, woher dieser Unterschied im Ton kommt.
In der Cloud kosten GPUs etwa 1–2 Dollar pro Stunde; die Inferenz liegt also bei ungefähr 100–200 Dollar, das Pretraining bei etwa 800–1600 Dollar, und die Kosten für das Pretraining amortisieren sich über mehrere Chips. Cloud-Preise liegen eher am oberen Ende, und die meisten Informatiklabore verfügen über deutlich mehr On-Premises-Ressourcen als das. In der Industrie sind solche Kosten im Vergleich zu den übrigen Kosten eines Chipdesign-Prozesses verschwindend gering; allein Lizenzen für kommerzielle EDA-Software kosten oft Millionen Dollar.
Aus heutiger Sicht sehe ich keinen Grund, Jeff Dean nicht zumindest einen Mindestvorschuss an Vertrauen zu geben. Seine Bilanz ist schwer mit irgendjemandem zu vergleichen, und er ist immer noch aktiv. Gab es etwas, das einen Schatten auf ihn werfen würde? Manchmal hat der Bote selbst Gewicht.
Manche würden sagen, er sei von einem charismatischen jungen Hochstapler hineingezogen worden und stecke nun zu tief drin, um noch zurückzurudern. Dass er sich auf dieses Projekt konzentriert hat, hat seiner Position innerhalb von Google auch nicht geholfen; im vergangenen Jahr gingen alle wichtigen Dinge an Demis über, und ihm blieb nur noch ein eher ehrenamtlich wirkender Titel. Angesichts seiner Leistungen ist das ziemlich traurig.
Meiner Ansicht nach sind wir über die Phase der wohlwollenden Annahmen hinaus und in einem Bereich angekommen, in dem erhebliche Zweifel möglich sind.
Ich frage mich, warum in dieser Debatte so viel Emotion und Verärgerung steckt. Wie konnte aus einer langweiligen akademischen Auseinandersetzung über Benchmarks oder Signifikanz ein Streit mit persönlichen Angriffen werden?
„AI entwirft AI … nein, sie entwirft Chips“ klingt für geisteswissenschaftlich geprägte Leute futuristisch, und offenbar auch für Programmierer, die eigentlich jeder „AI“ misstrauen sollten. Schon die Einreichung bei Nature und der gesamte Publikationsprozess wirken unehrlich. Warum nicht etwas wie ISCCC?
In der Folge steckt moderne AI-Forschung in einer Reproduzierbarkeitskrise, die deutlich schlimmer ist als in den Sozialwissenschaften, während es dafür viel weniger legitime Ausreden gibt. Wenn Google nicht lügt, müsste es nur die Benchmark-Daten veröffentlichen, damit unabhängige Leute sie prüfen können, und ein Großteil der Kontroverse würde verschwinden; dennoch weigert man sich weiterhin: https://cacm.acm.org/news/updates-spark-uproar/ Google scheint zu glauben, man solle die Schlussfolgerungen einfach aufgrund von Autorität akzeptieren. Außerdem hieß es in dem geleakten Paper des Whistleblowers Satrajit Chatterjee, den Google 2022 entlassen hat, der „30–35 %“-Vorsprung von RePlAce stimme mit Ergebnissen überein, die Googles damalige „übermenschliche“ Behauptungen über seinen AI-Ansatz für Chipdesign widerlegten. Die „persönlichen Angriffe“ auf Jeff Dean sind völlig angemessen, denn der Kern der Kritik ist, dass sein Charakter unehrlich und autoritär ist. Er veröffentlicht fragwürdige Forschung und feuert Menschen, die widersprechen.
[1] Dass Jeff Dean ein kritisches Paper verspottet, weil es ein Konferenzpaper ist, ist besonders widerlich. Eine unglaublich miserable Haltung.
Laut Jeff Deans Tweet haben Cheng et al. nicht die Schritte befolgt, die nötig gewesen wären, um die Arbeit der Google-Forscher zu reproduzieren.
Insbesondere sagte er: „Die Autoren haben überhaupt kein Pre-Training durchgeführt, obwohl Pre-Training im Nature-Paper 37-mal erwähnt wird; dadurch wurde der lernbasierte Ansatz seiner Fähigkeit beraubt, aus anderen Chip-Designs zu lernen.“ Im Circuit-Training-Repository von Google[1] heißt es jedoch ausdrücklich: „Die Ergebnisse beim Training from scratch sind ähnlich gut oder besser als die Ergebnisse des Papers, bei denen ein vortrainiertes Modell feinabgestimmt wurde.“ Vielleicht verstehe ich etwas falsch, aber was gilt nun? Haben sie es vermasselt, weil sie kein Pre-Training durchgeführt haben, oder haben sie eine faire Reproduktion nach dem im Repository beschriebenen „Verfahren“ versucht? Dass die UCSD-Gruppe mehrere Schritte per Reverse Engineering nachvollziehen musste, lässt es so wirken, als seien die Paper-Ergebnisse allein nicht reproduzierbar gewesen.
[1]: https://github.com/google-research/circuit_training/blob/mai...
Außerdem kann es bei einer kleinen Zahl von Benchmarks kontraproduktiv sein, Googles vortrainiertes Modell unbekannter Herkunft zu verwenden. Google hat vermutlich mit allen verfügbaren Benchmarks trainiert und es dazu gebracht, die optimalen Lösungen kommerzieller Tools wiederzugeben.
Dann gibt es keinen Widerspruch. Es ist der Unterschied zwischen einem Vorgehen, bei dem man mit früheren Designs vortrainiert und anschließend auf das neue Design feinabstimmt, und einem Vorgehen, bei dem man von Anfang an über die gesamte Dauer hinweg alle Daten gemischt trainiert. Fine-Tuning kann katastrophales Vergessen verursachen, und beide Varianten können besser abschneiden, als frühere Designs überhaupt nicht einzubeziehen.
Die Verwirrung könnte daher rühren, dass in diesem Beispiel gesagt wurde, es liefere ähnliche Ergebnisse wie die Pre-Training-Ergebnisse des Papers. Aber das ist eindeutig keine Absage an Pre-Training insgesamt. Wenn Cheng et al. das wirklich unklar fanden, hätten sie die korrespondierenden Autoren kontaktieren sollen. Wenn sie das Gefühl hatten, Teile des Repositories per „Reverse Engineering“ nachvollziehen zu müssen, hätten sie auch danach fragen sollen.
Verwandte Beiträge. Gibt es noch weitere?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - November 2024, 2 Kommentare
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - November 2024, 9 Kommentare
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - November 2024, 1 Kommentar
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - September 2024, 194 Kommentare
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - Mai 2022, 23 Kommentare
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - März 2020, 1 Kommentar
Der Kontext von Jeff Deans Antwort ist hier:
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
Es ist fast schon absurd, wie teuer eine Fehlbesetzung sein kann: https://www.wired.com/story/google-brain-ai-researcher-fired...
„Um es klar zu sagen: Es gibt keine Belege dafür, dass RL besser ist als der akademische Stand der Technik oder die stärksten kommerziellen Macro-Placer. Der Vergleich mit Letzteren ist so mangelhaft, dass die kommerziellen Tools in vielen Fällen wegen Installationsproblemen nicht einmal liefen“ — diese Formulierung soll aus einem Screenshot von Jeff Deans interner Präsentation stammen. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Als Außenstehender ist es sehr schwer zu beurteilen, ob Chatterjee eine schlechte und teure Einstellung war, die die guten Ergebnisse seiner Kollegen unterdrückt hat, oder ein äußerst wertvoller Mitarbeiter, der falsche Präsentationen verhindern wollte.
Er führte sogar gemeinsam mit Markov interne Forschung durch, doch die AlphaChip-Autoren erklären es so: 2022 habe ein unabhängiges Gremium von Google den Entwurf geprüft und festgestellt, dass „die Behauptungen und Schlussfolgerungen des Entwurfs wissenschaftlich nicht durch Experimente gestützt werden“ und dass „die unabhängige Reproduktion der Ergebnisse des ursprünglichen Datensatzes von [AlphaChip] Zweifel an den RL-Ergebnissen von [Markov et al.] aufwarf“. Die Autoren hätten dem Gremium ein einzeiliges Skript bereitgestellt, das deutlich bessere RL-Ergebnisse erzeugte als von Markov et al. berichtet; diese Ergebnisse seien sogar besser gewesen als deren „stärkere“ Simulated-Annealing-Baseline. Sie sagen, sie wüssten bis heute nicht, wie Markov und seine Mitautoren die Zahlen in ihrem Paper erzeugt haben.
(https://arxiv.org/pdf/2411.10053)
Der beste, vielleicht einzige Weg, das zu reduzieren, sind interne Anreize und Kontrollen sowie Kultur. Wenn man in jedem Zyklus mit Nachdruck endlose Verbesserungen um ein paar Prozent verlangt und dann Leute befördert, die diese Verbesserungen regelmäßig liefern, ohne überhaupt zu prüfen, ob die Leistung je existiert hat, passiert am Ende unabhängig von der Größe dasselbe. Das kann in einem kleinen Team passieren, in einer Abteilung, einem Unternehmen, einem Hedgefonds, der viele solcher Unternehmen hält, einem Dachfonds solcher Fonds oder in der Bundesregierung. Früher oder später wird die Führungsebene erheblich von Menschen ohne Gewissen durchdrungen. Die anhaltenden Publikationsskandale in der Wissenschaft und die zahllosen Fälle in der Finanzbranche sind Beispiele dafür. Holmes und SBF sitzen im Gefängnis, aber die Menschen, die sie finanziert haben, und ähnliche Kreise stehen weiterhin an der Spitze des Einflusses, tragen ihre Ideologie weiter und haben inzwischen sogar bessere Anwälte. Es gibt das alte Sprichwort: „Der Fisch stinkt vom Kopf her.“ Wenn man all die Fragwürdigkeiten und ständigen Skandale bei symbolträchtigen Führungspersönlichkeiten der STEM-Industrie sieht und sagt: „Gut gemacht, sie haben das System geschlagen“, dann ist kaum etwas anderes zu erwarten, als dass eine ehrliche und faire bestehende Ordnung von allen Seiten angegriffen wird. Auch wir haben letztlich mit den Füßen für ein quasi-religiöses Ideal von „Macht ist Recht“ gestimmt, und ich war selbst ein Teil davon, bis ich aus Abscheu aufgehört habe. Es wird unterschiedlich Objectivism, Effective Altruism oder Capitalism genannt, ist aber nicht einmal echter Kapitalismus. Man kann sich nicht wundern, dass alles klebrig verschmutzt ist. Die Antwort für heute kenne ich nicht wirklich. Vielleicht: bei weniger schlechten Unternehmen arbeiten, Missbrauch zumindest anonym offenlegen und genau hinhören und prüfen, was Führungskräfte in Interviews sagen. Andere Vorschläge würde ich gern hören.
Ich verstehe, dass Jeff unter Druck steht, hier zu antworten. Sein Name steht schließlich auf fast allen Forschungsergebnissen von „Google Brain“.
Aber „es ist reproduzierbar, weil diese Leute zu dumm waren, es zu reproduzieren“ ist keine Widerlegung, sondern Schikane. Die Kritiker haben offenbar einen Nerv getroffen, und es klingt so, als gebe es keine gute Möglichkeit, die Reproduzierbarkeitsprobleme zu widerlegen, die seine Forschung offenlegt.
Der Tweet sagt lediglich, dass der Reproduktionsversuch der ursprünglichen Methodik tatsächlich nicht gefolgt sei. Es steht nichts davon, dass die Autoren des Reproduktionsversuchs „dumm“ seien oder Ähnliches; das ist einfach erfunden. Auch die offensichtlich fehlerhafte Logik „weil sie es nicht reproduzieren konnten, ist es reproduzierbar“ ist eine komplette Erfindung.
Ist Google nicht genau das Unternehmen, das verzweifelt jede Art von „Wir machen auch AI“-Entwicklung aufbläst, um den Aktienkurs hochzutreiben? Jeff scheint so viel Kool-Aid getrunken zu haben, dass er vergessen hat, was Wasser ist.
Googles letztendlicher Beweis wäre, bessere Chips als die Konkurrenz zu bauen. Im Moment tun sie das nicht.
Die Kritik „ihr habt beim Reproduzieren unserer Methode nicht genug Rechenressourcen eingesetzt“ wirkt heutzutage etwas komisch. Klar, natürlich, ihr seid ja Google.
Das klingt, als könne man eure Methodik nicht prüfen, wenn man keine eigene Cloud besitzt. Es überrascht zwar nicht, dass mehr Rechenleistung und mehr Pretraining nützlich sind, aber dann wird die Verifikation schwierig. Es gibt auch eine interessante Kehrseite: Google hat enorme Rechenressourcen, aber Synopsys hat enorme Mengen an Daten zum Trainieren. Natürlich unter der sehr großen Voraussetzung, dass sie überhaupt mit dem geistigen Eigentum ihrer Kunden trainieren dürfen.