- Brendan Gregg, ein bekannter Linux-Performance-Experte und Hauptmitwirkender an BPF, erklärt, warum er zu OpenAI gewechselt ist
- Er trat OpenAI bei, um das Problem der rasant steigenden Kosten und des Energieverbrauchs von AI-Rechenzentren anzugehen, und konzentrierte sich zunächst auf die Leistungsoptimierung von ChatGPT
- Da er in klassischem Performance Engineering Grenzen sah, wollte er neue Engineering-Methoden entwickeln, um größere Optimierungseffekte schneller zu finden
- An Beispielen aus dem Alltag — etwa Friseurinnen, Immobilienmaklern, Steuerberatern und Imkern — erkannte er, wie stark sich die Technologie gesellschaftlich verbreitet hat
- Nach 26 Interviews verglich er das Engineering-Niveau mehrerer AI-Unternehmen und bewertete die Talentdichte und das kollaborative Umfeld bei OpenAI als am beeindruckendsten
- Er sieht seine Rolle bei OpenAI als Wendepunkt seines Lebens, da sie ihm die Möglichkeit gibt, zu Effizienzsteigerungen im globalen Maßstab und zu mehr Nachhaltigkeit beizutragen
Herausforderungen bei AI-Rechenzentren und Performance Engineering
- Die Kosten und das Wachstumstempo von AI-Rechenzentren sind historisch beispiellos; das wird nicht nur als Frage der Kostensenkung verstanden, sondern auch als Thema des Schutzes der Umwelt
- Er kam zu OpenAI, um dieses Problem direkt anzugehen, und konzentrierte sich anfangs auf die Verbesserung der ChatGPT-Performance
- Er sucht nach neuen Ansätzen für größere Optimierungen und schnellere Verbesserungen, die über die Grenzen des bisherigen Performance Engineerings hinausgehen
- Er betont eine offene Struktur, in der es selbst in großem Maßstab kaum Beschränkungen gibt, die Veränderungen im Weg stehen
- Beschrieben mit der Haltung: „Probier alles aus, in großem Maßstab, und setz es sofort um“
Die Verbreitung von ChatGPT im Alltag und der persönliche Auslöser
- Während er der AI-Einführung zunächst skeptisch gegenüberstand, erlebte er im Gespräch mit der Friseurin Mia direkt, wie weit ChatGPT bereits im Alltag angekommen ist
- Mia schilderte verschiedene Anwendungsfälle, etwa dass sie mit ChatGPT Informationen zum Reiseziel einer Freundin überprüft und so ein Gefühl emotionaler Verbundenheit aufrechterhält
- Die Erinnerungsfunktion von ChatGPT beschrieb sie als eine Erfahrung, die sich anfühlt, als würde man mit einem Menschen sprechen
- Auch Immobilienmakler, Steuerberater und Imker nutzen ChatGPT aktiv in ihrer praktischen Arbeit
- Beispiel: Ein Imker erledigt Dokumentations- und Verwaltungsaufgaben für ein kleines Unternehmen mit ChatGPT
- Durch diese Erfahrungen wurde ihm klar, dass ChatGPT sich als Alltagswerkzeug etabliert hat, und er gewann Gewissheit über die gesellschaftliche Bedeutung seines technischen Beitrags
Warum OpenAI und wie der Interviewprozess verlief
- Auf Empfehlung mehrerer Branchenexperten führte er 26 Interviews mit großen AI-Technologieunternehmen, darunter OpenAI
- Er fand dort eine Umgebung ähnlich wie damals bei Netflix: groß angelegte Cloud-Infrastrukturen, schnelle Codeänderungen und hohe Autonomie für Engineers
- Die Aufgaben reichen über GPUs hinaus und umfassen Performance-Probleme über den gesamten Technologie-Stack hinweg
- Bei OpenAI arbeiten bereits viele hochfähige Engineer-Kollegen, die er schon vorher kannte
- Die Zusammenarbeit mit früheren Netflix-Kollegen wie Vadim beeinflusste seine Entscheidung zum Wechsel positiv
- Bei OpenAI gibt es bereits ein erfahrenes Team von Performance Engineers, und er bezeichnet sich selbst als den „zuletzt dazugestoßenen“
Der Kindheitstraum „Orac“ und die Verbindung zu AI
- Er erinnert sich daran, wie er als Kind vom Supercomputer Orac aus der britischen SF-Serie Blake’s 7 fasziniert war und davon träumte, AI zu entwickeln
- Während des Studiums wollte er selbst Software für Natural Language Processing entwickeln, musste dies jedoch wegen Speicherbeschränkungen aufgeben
- Als er ChatGPT nutzte, musste er an Orac denken, und war beeindruckt, dass ChatGPT Oracs Persönlichkeit perfekt nachbildete
- Seitdem nutzt er eine personalisierte Einstellung im Orac-Modus für ChatGPT
- Auch die Nachricht über ein Reboot von Blake’s 7 erwähnt er
Gegenwart und Zukunftspläne bei OpenAI
- Derzeit arbeitet er remote von Sydney aus und ist als Member of Technical Staff im ChatGPT-Performance-Engineering-Team tätig
- Zu seinen ersten Projekten gehört die Verbesserung der Performance über Teamgrenzen hinweg sowie die Entwicklung von Strategien zur Kostensenkung
- Er plant, bestehende Technologien wie eBPF, Ftrace und PMC auf die Anforderungen von OpenAI zuzuschneiden
- Codex nutzt er bereits auch für viele Aufgaben jenseits des Codings
- Nach seinem Ausscheiden bei Intel fragten sich viele auf der Linux Plumber’s Conference, wie sein weiterer Weg aussehen würde; das war ein Anlass für diesen Text
- Zum Schluss fragte er die Friseurin Mia erneut, ob sie ChatGPT noch nutze, und erhielt die Antwort: „Ich benutze es rund um die Uhr.“
- Dieser Text ist eine persönliche Aufzeichnung und wurde nicht auf Wunsch des Unternehmens, sondern aus eigener Initiative geschrieben
3 Kommentare
Selbst wenn Sie sagen, dass ein Unternehmen, das 40 % des weltweiten Speichers hortet, sich um das Gemeinwohl der Erde kümmert ...
Was ist das denn jetzt schon wieder … Aus der Sicht von OpenAI, die von Chipsätzen bis zu Rechenzentren nichts selbst herstellen oder betreiben, gilt doch: Wenn der Software-Stack optimiert wird, kann man um den freiwerdenden Spielraum entsprechend hochskalieren, daher ist eher die Gewinnmaximierung als Umweltschutz das Ziel (wie im HN-Kommentar: Jevons-Paradoxon).
Es ist ein so stark auf Selbst-PR getrimmter Post, dass das Lesen schon peinlich ist.
Hacker-News-Kommentare
Die Formulierung "Es geht nicht um Kostensenkung, sondern darum, den Planeten zu retten" klingt irgendwie schräg
Da kommt einem der Gedanke, dass es am Ende vielleicht doch einfach ums Geld geht
Es ist gut, Leidenschaft für die eigene Arbeit zu haben, aber man muss dabei nicht unbedingt wie Mutter Teresa wirken
Das erinnert übrigens an eine Parodieszene aus der TV-Serie Silicon Valley
Das Ziel großer Unternehmen ist nicht, die Welt zu retten, sondern Profit zu machen
Wenn Hardware effizienter wird, wird am Ende nur noch mehr Workload darauf gepackt
Trotzdem freue ich mich auf neue Innovationen in diesem Bereich
Als Fan von Brendans Buch freue ich mich zwar über seinen Wechsel zu OpenAI, aber der Analyse kann ich schwer zustimmen
Wenn OpenAI für X Dollar Y Menge Energie kauft, führen Effizienzsteigerungen am Ende nur dazu, noch mehr Tokens zu produzieren
Das ist keine Energieeinsparung, sondern eher ein Fall des Jevons-Paradoxons
Allerdings dürfte sich zumindest der Energieaufwand für Anfragen wie "Frag den Chatbot nach Basketball-Ergebnissen" verringern
Die Vergütung wurde zwar erwähnt, aber Geld ist nicht der einzige Grund
Ich wollte das Problem der Energiekosten von KI-Rechenzentren direkt angehen
Ich habe in den letzten 20 Jahren Lehrbücher fast zum Mindestlohnniveau geschrieben, um anderen Entwicklern zu helfen,
und mit Open Source die Grundlage für zahllose Startups geschaffen
Zur Verbreitung von Remote-Arbeit habe ich ebenfalls beigetragen
Wenn die Effizienz steigt, werden am Ende einfach mehr GPUs gekauft
Um solche Nebenwirkungen zu verringern, braucht es meiner Meinung nach Regulierung
klingt die Aussage, man arbeite "für die Welt", hohl
Enttäuschend, aber es ist deine Entscheidung, also respektiere ich sie
Passender Link
aber es ist auch möglich, dass OpenAI einen Teil davon aus Wettbewerbsgründen nicht veröffentlicht
Der selbstgefällige Ton des Textes war so stark, dass er schwer zu lesen war
Die Stelle mit "Die Friseurin Mia schwieg, als ich sagte, ich sei Intel Fellow" war peinlich
Es wirkte, als hätte er sie beeindrucken wollen und sich dann wegen der ausbleibenden Reaktion zum Jobwechsel entschlossen
Wenn man auf die Welt außerhalb der Tech-Branche trifft, ist so eine Reaktion ganz natürlich
Umgekehrt könnte uns die von der Friseurin genannte Scherenmarke ebenfalls nichts sagen
Die Art, wie in Silicon Valley rekrutiert wird, spricht das Selbstbild der Leute an
Sie glauben dann, sie würden die Welt verändern,
und dadurch wird es schwerer, die negativen Auswirkungen klar zu sehen
Es ist schockierend, dass jemand, der ein hervorragender Systemingenieur war, so einen realitätsfernen Text schreibt
Es wirkt, als stünden Politik und Selbstvermarktung über technischer Wahrheit
Sich selbst oder Ideen zu vermarkten, könnte man letztlich auch als Erweiterung von Engineering sehen
Als Fan habe ich den Text gelesen, aber die Formulierung, man wolle "die Welt retten", klingt nach Selbstrechtfertigung
Das klingt wie die ironische Metapher, aus einem Reifenbrand maximal viel Wärme herauszuholen, um damit die Welt zu retten
Die Stelle, an der er sagte, ein Freund sei auf einer langen Reise und er habe mit ChatGPT über diese Stadt gesprochen, um ein Gefühl von Verbundenheit zu spüren, fand ich traurig
Für so etwas braucht man keinen Strom im Gigawatt-Maßstab
Ein kleines lokales Modell würde völlig reichen
Asynchrone Kommunikation zwischen Menschen ist längst gelöst
Weniger deprimierend, als sich Reisesendungen anzusehen