Es ist überraschend, dass das Manhattan Project und das Apollo-Programm rückblickend so „günstig“ wirken.
Es ist merkwürdig, dass die Kosten dafür, in den 1960er-Jahren Menschen auf den Mond zu bringen, in etwa auf dem Niveau von Apples jüngstem Aktienrückkauf liegen.
Das könnte daran liegen, dass die Inflation in den vergangenen rund 100 Jahren unterschätzt wurde. Über die Zeit summiert sich diese Differenz durch den Zinseszinseffekt stark auf.
Ein fairerer Vergleich wäre, wie viele Jahresgehälter eines durchschnittlichen Bürgers das entspricht.
Das Manhattan Project kostete 1944 2 Milliarden Dollar und entsprach auf Basis des medianen Haushaltseinkommens aus der Volkszählung von 1940 121.000 Haushaltsjahre.
Apples Aktienrückkauf lag 2024 bei 110 Milliarden Dollar und entspricht auf Basis der Volkszählung von 2022 122.910 Haushaltsjahren.
Das heißt, die offiziellen Inflationszahlen haben die Kosten über 80 Jahre hinweg effektiv um etwa den Faktor 3,5 zu niedrig angesetzt.
Die USA waren damals deutlich ärmer, und auch der Lebensstandard lag viel niedriger. Deshalb waren die Löhne selbst inflationsbereinigt viel geringer, und im Krieg mussten eingezogene Menschen ohne Wahlmöglichkeit für niedrige Löhne arbeiten. Das erklärt einen großen Teil davon.
Tatsächlich war es überhaupt nicht billig; man hat die Kosten nur in die Zukunft verschoben. Für die Sanierung des Hanford-Geländes werden Kosten von 16,8 bis 550 Milliarden Dollar geschätzt.
Auch die Anlage Santa Susana, auf der Apollo-Raketen getestet wurden, wird eine Sanierung in Milliardenhöhe erfordern; dort kommen noch weitere Kostenfaktoren hinzu.
Unter Druck zählt vor allem das Verhältnis von Kosten zu Wirkung. In einer heute relativ wohlhabenden und lockeren Gesellschaft steigen alle Kosten gegenüber dem Zweiten Weltkrieg und den Nachkriegs-60ern.
Damals konnte man Straßen, Eisenbahnen und Schiffe bauen, heute gibt es Hunderte Regeln, Lobbyisten und Interessengruppen, die jeweils ihren Anteil wollen.
Sobald das Überlebensproblem vorübergehend gelöst ist, werden monetäre Anreize viel wichtiger.
Das Manhattan Project und das Apollo-Programm lagen beide bei 0,4 % des BIP. Bezogen auf ein heutiges BIP von 27 Billionen Dollar entspräche derselbe Anteil 108 Milliarden Dollar, und Metas GPU-Ausgaben liegen nicht einmal bei einem Drittel davon.
Heißt das also, dass ein einzelnes Unternehmen für ein hobbyartiges Projekt, bei dem es nicht einmal Marktführer ist, etwa 0,1 % des US-BIP ausgegeben hat?
Das ist kaum zu glauben und nichts Gutes.
Meta bezahlt diese GPUs nicht in einem einzigen Jahr, sondern über mehrere Jahre hinweg. Metas jährliche Investitionsausgaben liegen bei etwa 30 Milliarden Dollar, und nicht einmal das fließt vollständig in GPUs.
Außerdem zahlt Meta vermutlich auch nicht den Einzelhandelspreis.
Dann wären Apples Aktienrückkäufe in Höhe von 110 Milliarden Dollar noch größer.
Wenn man die Ausgaben oder Umsätze aller Unternehmen zusammenzählt, kann die Summe weit über dem BIP liegen.
Es wirkt fast so, als würde uns die überwältigende Komplexität moderner GPU, CPU und SoC gar nicht wirklich bewusst.
Verglichen mit dem Herstellungsprozess von 3-nm-Chips mit Milliarden von Transistoren erscheint das Manhattan Project kaum als gigantisches Projekt. Es war bahnbrechend, aber im Vergleich zur Entwicklung von EUV-Wafern lässt es sich schwer als „gigantisch“ bezeichnen.
Auch eine weniger bekannte große Leistung des Manhattan Project ist erwähnenswert. Im Kern ging es nicht um die Wissenschaftler, sondern um Hanford und Oak Ridge.
Hanford war nicht nur ein Reaktorprojekt, sondern auch der Bau einer Stadt mit mehr als 43.000 Einwohnern an einem Ort, an dem buchstäblich nichts war.
In Oak Ridge stand mit K-25 damals das größte Gebäude der Welt; erst mehr als 20 Jahre später wurde es von der Boeing Everett Factory übertroffen.
Diese beiden Standorte waren auch die Hauptkostentreiber des Projekts. Wissenschaft ist billig, aber Urananreicherung und Plutoniumproduktion sind es nicht — besonders dann nicht, wenn man Dinge tut, die noch nie zuvor jemand gemacht hat.
10 % sind überwältigende Komplexität, 90 % sind Nvidias Gewinnmarge.
Ich bin jedes Mal verblüfft, wenn ich die Qualität und Handwerkskunst von Dingen sehe, die grob vor den 1960er Jahren entstanden sind.
Ich weiß nicht, warum sich die Gesellschaft damals in die heutige Gesellschaft verwandelt hat, die so verschwenderisch, langsam, teuer und ambitionslos ist, aber wenn ich zurückkönnte, würde ich zurückgehen.
Ich denke, es liegt an der Klasse der professionellen Manager. Es gab in Bereichen wie der Fertigungsindustrie mehrere große Reformen unter dem Banner eines „effizienteren“ Managements, und später wurde das auch auf Wissensarbeit angewendet.
Besonders in der bürokratischen Büroarbeit nahm die Spezialisierung ab. Inzwischen spielt jeder, sogar Ärzte, im Grunde seine eigene Sekretärin.
Nach Anekdoten von Leuten, die den Übergang selbst erlebt haben, gehörte zu den Dingen, die diese neue Managementkultur ruiniert hat, ausgerechnet das Management selbst, insbesondere das untere und mittlere Management.
Früher gab es je nach Hierarchiestufe nur moderate Unterschiede darin, wie viel Zeit Manager in Besprechungen mit Kollegen oder Vorgesetzten verbrachten, und untere Manager hatten weniger solcher Meetings und konzentrierten sich stärker auf die Bedürfnisse ihrer Mitarbeiter und die Aufrechterhaltung des Betriebs.
Nach dem Wandel wurde jede Managementebene in eine Kultur aus Meetings, Meetings, noch mehr Meetings hineingezogen, und die meisten davon hatten nur geringen Wert. Angeberei und politische Spielchen sickerten außerdem viel stärker als zuvor bis in die unteren Ebenen der Organisation durch.
Hinter Apollo 11 standen angeblich 400.000 Menschen. Wenn fast 500.000 Menschen ihr Leben dem Bau einer einzigen Sache widmen, scheint es mir, als könnte man auch heute noch hochwertige, gut gemachte Ergebnisse hervorbringen.
Nvidia: 26.000 Mitarbeiter
TSMC: 73.000 Mitarbeiter
Intel: 124.000 Mitarbeiter
AMD: 25.000 Mitarbeiter
Qualcomm: 50.000 Mitarbeiter
ASML: 42.000 Mitarbeiter
Gemessen an der Größe der Belegschaft könnte die gesamte weltweite Halbleiterindustrie auf einem ähnlichen Niveau liegen.
Es geht nicht nur um die Qualität der Ergebnisse und die Handwerkskunst. Die Löhne der Arbeiter sind nicht gestiegen, während die Produktivität zugenommen hat; die Reichen sind reicher geworden, und die unteren 90 % bei den Einkommen konnten sich nicht verbessern.
Dass sich seit 1971 so viele Kennzahlen kontinuierlich verschlechtert haben, ist ziemlich verrückt[1].
[1] https://wtfhappenedin1971.com/
Nach dem Krieg gab es Werkzeugmaschinen im Überfluss, und es gab reichlich Erfahrung mit metallverarbeitenden Produktionsprozessen.
Es mangelte dagegen an spritzgegossenen thermoplastischen Kunststoffen, die für deutlich breitere Anwendungen als nur Spielzeug geeignet waren.
Relativ hohe Lohnkosten könnten den Anreiz verringert haben, bei den Materialkosten zu sparen.
Verbraucher waren bereit, höhere Preise für hergestellte Güter zu zahlen, erwarteten dafür aber, dass sie reparierbar und langlebig waren.
Röhrenbasierte Elektronik brauchte oft hohe Spannungen und schwere Transformatoren oder Batterien, was Gehäuse aus Metall oder Holz und eine nicht portable Nutzung nahelegte. Beispielsweise waren Konsumradios häufig in Möbel integriert.
Ich habe zwar meine eigenen Hypothesen, aber wahrscheinlich ist es besser, sie für mich zu behalten und einfach mein Bestes bei meinen Projekten zu geben.
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
Der direkt folgende Teil ist auch interessant.
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
Wenn man den Kernpunkt überprüft, heißt es bei https://thehistoryofcomputing.net/the-ibm-system360, „IBM spent $5 billion in mid-1960s dollars“, und das Manhattan Project habe 2 Milliarden Dollar gekostet.
Laut https://en.wikipedia.org/wiki/Manhattan_Project sind das Dollar von 1945, und mit dem CPI-Inflationsrechner von https://www.bls.gov/data/inflation_calculator.htm ergibt das ungefähr 3,5 Milliarden Dollar von 1965.
Rückwärts gerechnet entsprechen diese 30 Milliarden Dollar, die für GPU-Training ausgegeben wurden, in Dollar von 1965 nur 3 Milliarden Dollar, also weniger als beim 360.
Wie kann es sein, dass Meta so viel ausgibt und OpenAI trotzdem noch nicht eingeholt hat? Warum ist OpenAI so gut?
Ich bin kein Machine-Learning-Experte, aber „nicht können“ wirkt etwas zu hart. Wenn man sich den Podcast mit Mark Zuckerberg anhört, lässt sich das so interpretieren, dass Meta gar nicht direkt mit OpenAI konkurrieren will
Allein bestehende AI-Services wie Empfehlungen verschlingen bereits viele Ressourcen. Werbung ist jetzt und auf absehbare Zeit die Cashcow, und große Sprachmodelle haben bislang noch keine großen Umsätze erzeugt
Der Umsatz von OpenAI lag 2023 bei rund 2 Milliarden US-Dollar und wird 2024 stark steigen, aber Meta erzielte 2023 einen Nettogewinn von 40 Milliarden US-Dollar. Aus finanzieller Sicht gibt es also noch keinen Grund, zu konkurrieren
Llama 400B ist noch im Training und könnte viele Anwendungsfälle von GPT-4 übertreffen
Ich frage mich, ob du meta.ai überhaupt ausprobiert hast. Rein von den Fähigkeiten her ist es schon ziemlich konkurrenzfähig, nur scheint Meta dem bislang weder viel Aufmerksamkeit zu schenken noch es stark zu bewerben
Es ist nicht unwahrscheinlich, dass Llama 3 405B, das noch trainiert wird, das derzeit beste Modell von OpenAI übertrifft
Auf Englisch schlägt Llama 3 70B bereits alle Modelle von Google und Anthropic und liegt nur noch hinter den neuesten GPT-4-Versionen. Das basiert auf den Ergebnissen der Open LLM Arena
LLAMA 3 ist ziemlich gut, und auch Vision-Aufgaben wie segment anything sind State of the Art. Facebook hat bereits einen soliden Monetarisierungspfad und muss deshalb nicht unbedingt Papers veröffentlichen oder Demos bauen
Ist öffentlich bekannt, wie stark Meta diese GPUs im internen Betrieb nutzt und welche Einsparungen dort erzielt werden?
Abseits der enttäuschenden „meta ai“-Chatbox dürfte es extrem viele Bereiche geben, in denen sich H100s einsetzen lassen. Von Content-Recommendation-Engines über Missbrauchsprävention bis zur Optimierung von Netzwerkbandbreite und Traffic-Flüssen
@MetaAI, das in Gruppenchats als Gruppenmitglied auftaucht, war ziemlich gut. Man konnte gemeinsam mit Bildern herumalbern, Geschichten schreiben, es Autoren imitieren lassen oder Kapitel für schlechte Bücher verfassen lassen
Einige alte Gruppenchats, in denen tagelang keine Nachricht kam, sind wieder zu Orten geworden, an denen ständig mit AI herumgespielt wird
Ich finde solche Vergleiche schwer zu deuten. Selbst ohne Inflation wächst schließlich die Wirtschaft, in der solche Ausgaben stattfinden
Klarer wäre es wohl, die Kosten als Anteil an der Weltwirtschaft, an Wirtschaftsräumen wie Europa oder dem Großchina-Raum oder an der Wirtschaft einzelner Staaten auszudrücken
Vielleicht übersehe ich auch etwas
Ich verstehe nicht, warum alle nur über Inflation reden. Um zur Zeit des Manhattan Projects so etwas wie moderne GPUs herzustellen, hätte man einen Supercomputer bauen müssen, der deutlich größer und teurer gewesen wäre als das Projekt selbst
Die Technologie ist einfach massiv billiger geworden, es werden weniger Materialien benötigt, und die Forschungskosten sind längst bezahlt
Falls das stimmt, möchte ich ergänzen: Das ganze Geld wurde durch menschliche Aufmerksamkeit finanziert, die von Werbung abgeschöpft wurde, und durch die Ausbeutung von Nutzerdaten. Glückwunsch, Menschheit
Was hätte man wohl erreichen können, wenn dieses Geld in nützliche Bereiche geflossen wäre?
Eher ist es so, dass andere Schwerindustriebereiche der Wirtschaft bereits monopolisiert sind und man dort kaum noch etwas erreichen kann
Als Google in die Telekommunikation einstieg, sah es so aus, als könnte es alte Parasiten wie AT&T, Verizon und Comcast leicht zu Fall bringen, aber was ist tatsächlich passiert?
Dasselbe gilt für Apples Vorstöße in Autos, Banking (Kreditkarten) und Content
Deshalb kann dieses Geld am Ende nur für so etwas ausgegeben werden. An Exxon, Monsanto, Pfizer oder Boeing kommt man nicht ran, und bei Wohnen, Bildung, Gesundheitswesen oder Banken lässt sich ebenfalls kaum etwas ausrichten
Am Ende ist es der Weg des geringsten Widerstands, Geld in Neuartiges zu verbrennen. Alle „nützlichen Bereiche“ sind von Mauern umgeben
Meta verkauft keine persönlichen Daten, sondern nutzt sie nur für Werbung
1 Kommentare
Hacker-News-Kommentare
Es ist überraschend, dass das Manhattan Project und das Apollo-Programm rückblickend so „günstig“ wirken.
Es ist merkwürdig, dass die Kosten dafür, in den 1960er-Jahren Menschen auf den Mond zu bringen, in etwa auf dem Niveau von Apples jüngstem Aktienrückkauf liegen.
Ein fairerer Vergleich wäre, wie viele Jahresgehälter eines durchschnittlichen Bürgers das entspricht.
Das Manhattan Project kostete 1944 2 Milliarden Dollar und entsprach auf Basis des medianen Haushaltseinkommens aus der Volkszählung von 1940 121.000 Haushaltsjahre.
Apples Aktienrückkauf lag 2024 bei 110 Milliarden Dollar und entspricht auf Basis der Volkszählung von 2022 122.910 Haushaltsjahren.
Das heißt, die offiziellen Inflationszahlen haben die Kosten über 80 Jahre hinweg effektiv um etwa den Faktor 3,5 zu niedrig angesetzt.
Auch die Anlage Santa Susana, auf der Apollo-Raketen getestet wurden, wird eine Sanierung in Milliardenhöhe erfordern; dort kommen noch weitere Kostenfaktoren hinzu.
Damals konnte man Straßen, Eisenbahnen und Schiffe bauen, heute gibt es Hunderte Regeln, Lobbyisten und Interessengruppen, die jeweils ihren Anteil wollen.
Sobald das Überlebensproblem vorübergehend gelöst ist, werden monetäre Anreize viel wichtiger.
Das Manhattan Project und das Apollo-Programm lagen beide bei 0,4 % des BIP. Bezogen auf ein heutiges BIP von 27 Billionen Dollar entspräche derselbe Anteil 108 Milliarden Dollar, und Metas GPU-Ausgaben liegen nicht einmal bei einem Drittel davon.
Das ist kaum zu glauben und nichts Gutes.
Außerdem zahlt Meta vermutlich auch nicht den Einzelhandelspreis.
https://fred.stlouisfed.org/series/FYONGDA188S
Es wirkt fast so, als würde uns die überwältigende Komplexität moderner GPU, CPU und SoC gar nicht wirklich bewusst.
Verglichen mit dem Herstellungsprozess von 3-nm-Chips mit Milliarden von Transistoren erscheint das Manhattan Project kaum als gigantisches Projekt. Es war bahnbrechend, aber im Vergleich zur Entwicklung von EUV-Wafern lässt es sich schwer als „gigantisch“ bezeichnen.
Hanford war nicht nur ein Reaktorprojekt, sondern auch der Bau einer Stadt mit mehr als 43.000 Einwohnern an einem Ort, an dem buchstäblich nichts war.
In Oak Ridge stand mit K-25 damals das größte Gebäude der Welt; erst mehr als 20 Jahre später wurde es von der Boeing Everett Factory übertroffen.
Diese beiden Standorte waren auch die Hauptkostentreiber des Projekts. Wissenschaft ist billig, aber Urananreicherung und Plutoniumproduktion sind es nicht — besonders dann nicht, wenn man Dinge tut, die noch nie zuvor jemand gemacht hat.
Ich bin jedes Mal verblüfft, wenn ich die Qualität und Handwerkskunst von Dingen sehe, die grob vor den 1960er Jahren entstanden sind.
Ich weiß nicht, warum sich die Gesellschaft damals in die heutige Gesellschaft verwandelt hat, die so verschwenderisch, langsam, teuer und ambitionslos ist, aber wenn ich zurückkönnte, würde ich zurückgehen.
Besonders in der bürokratischen Büroarbeit nahm die Spezialisierung ab. Inzwischen spielt jeder, sogar Ärzte, im Grunde seine eigene Sekretärin.
Nach Anekdoten von Leuten, die den Übergang selbst erlebt haben, gehörte zu den Dingen, die diese neue Managementkultur ruiniert hat, ausgerechnet das Management selbst, insbesondere das untere und mittlere Management.
Früher gab es je nach Hierarchiestufe nur moderate Unterschiede darin, wie viel Zeit Manager in Besprechungen mit Kollegen oder Vorgesetzten verbrachten, und untere Manager hatten weniger solcher Meetings und konzentrierten sich stärker auf die Bedürfnisse ihrer Mitarbeiter und die Aufrechterhaltung des Betriebs.
Nach dem Wandel wurde jede Managementebene in eine Kultur aus Meetings, Meetings, noch mehr Meetings hineingezogen, und die meisten davon hatten nur geringen Wert. Angeberei und politische Spielchen sickerten außerdem viel stärker als zuvor bis in die unteren Ebenen der Organisation durch.
Nvidia: 26.000 Mitarbeiter
TSMC: 73.000 Mitarbeiter
Intel: 124.000 Mitarbeiter
AMD: 25.000 Mitarbeiter
Qualcomm: 50.000 Mitarbeiter
ASML: 42.000 Mitarbeiter
Gemessen an der Größe der Belegschaft könnte die gesamte weltweite Halbleiterindustrie auf einem ähnlichen Niveau liegen.
Dass sich seit 1971 so viele Kennzahlen kontinuierlich verschlechtert haben, ist ziemlich verrückt[1].
[1] https://wtfhappenedin1971.com/
Es mangelte dagegen an spritzgegossenen thermoplastischen Kunststoffen, die für deutlich breitere Anwendungen als nur Spielzeug geeignet waren.
Relativ hohe Lohnkosten könnten den Anreiz verringert haben, bei den Materialkosten zu sparen.
Verbraucher waren bereit, höhere Preise für hergestellte Güter zu zahlen, erwarteten dafür aber, dass sie reparierbar und langlebig waren.
Röhrenbasierte Elektronik brauchte oft hohe Spannungen und schwere Transformatoren oder Batterien, was Gehäuse aus Metall oder Holz und eine nicht portable Nutzung nahelegte. Beispielsweise waren Konsumradios häufig in Möbel integriert.
Heißt das dann, es ist weniger Geld als IBM für System/360 ausgegeben hat?
Um Dijkstra zu zitieren: https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Wie kann es sein, dass Meta so viel ausgibt und OpenAI trotzdem noch nicht eingeholt hat? Warum ist OpenAI so gut?
Allein bestehende AI-Services wie Empfehlungen verschlingen bereits viele Ressourcen. Werbung ist jetzt und auf absehbare Zeit die Cashcow, und große Sprachmodelle haben bislang noch keine großen Umsätze erzeugt
Der Umsatz von OpenAI lag 2023 bei rund 2 Milliarden US-Dollar und wird 2024 stark steigen, aber Meta erzielte 2023 einen Nettogewinn von 40 Milliarden US-Dollar. Aus finanzieller Sicht gibt es also noch keinen Grund, zu konkurrieren
Auf Englisch schlägt Llama 3 70B bereits alle Modelle von Google und Anthropic und liegt nur noch hinter den neuesten GPT-4-Versionen. Das basiert auf den Ergebnissen der Open LLM Arena
Ist öffentlich bekannt, wie stark Meta diese GPUs im internen Betrieb nutzt und welche Einsparungen dort erzielt werden?
Abseits der enttäuschenden „meta ai“-Chatbox dürfte es extrem viele Bereiche geben, in denen sich H100s einsetzen lassen. Von Content-Recommendation-Engines über Missbrauchsprävention bis zur Optimierung von Netzwerkbandbreite und Traffic-Flüssen
Einige alte Gruppenchats, in denen tagelang keine Nachricht kam, sind wieder zu Orten geworden, an denen ständig mit AI herumgespielt wird
Ich finde solche Vergleiche schwer zu deuten. Selbst ohne Inflation wächst schließlich die Wirtschaft, in der solche Ausgaben stattfinden
Klarer wäre es wohl, die Kosten als Anteil an der Weltwirtschaft, an Wirtschaftsräumen wie Europa oder dem Großchina-Raum oder an der Wirtschaft einzelner Staaten auszudrücken
Vielleicht übersehe ich auch etwas
Ich verstehe nicht, warum alle nur über Inflation reden. Um zur Zeit des Manhattan Projects so etwas wie moderne GPUs herzustellen, hätte man einen Supercomputer bauen müssen, der deutlich größer und teurer gewesen wäre als das Projekt selbst
Die Technologie ist einfach massiv billiger geworden, es werden weniger Materialien benötigt, und die Forschungskosten sind längst bezahlt
Falls das stimmt, möchte ich ergänzen: Das ganze Geld wurde durch menschliche Aufmerksamkeit finanziert, die von Werbung abgeschöpft wurde, und durch die Ausbeutung von Nutzerdaten. Glückwunsch, Menschheit
Was hätte man wohl erreichen können, wenn dieses Geld in nützliche Bereiche geflossen wäre?
Als Google in die Telekommunikation einstieg, sah es so aus, als könnte es alte Parasiten wie AT&T, Verizon und Comcast leicht zu Fall bringen, aber was ist tatsächlich passiert?
Dasselbe gilt für Apples Vorstöße in Autos, Banking (Kreditkarten) und Content
Deshalb kann dieses Geld am Ende nur für so etwas ausgegeben werden. An Exxon, Monsanto, Pfizer oder Boeing kommt man nicht ran, und bei Wohnen, Bildung, Gesundheitswesen oder Banken lässt sich ebenfalls kaum etwas ausrichten
Am Ende ist es der Weg des geringsten Widerstands, Geld in Neuartiges zu verbrennen. Alle „nützlichen Bereiche“ sind von Mauern umgeben