Abschied von Meta und PyTorch

 (soumith.ch)
7 Punkte von GN⁺ 2025-11-08 | 1 Kommentare | Auf WhatsApp teilen
  • Soumith Chintala, der PyTorch rund acht Jahre lang geführt hat, kündigte an, Meta und PyTorch nach 11 Jahren zu verlassen
  • PyTorch unterstützt inzwischen Exascale-Training und hat breite Erfolge erzielt, darunter den Betrieb von Foundation Models und den Einsatz in Bildungseinrichtungen weltweit
  • Er ist der Ansicht, dass PyTorch inzwischen reif genug ist, um unabhängig betrieben zu werden, und ist von der Stabilität der Nachfolgeführung überzeugt
  • Dank und Rückblick auf die Zusammenarbeit mit Kolleginnen und Kollegen seit der FAIR-Zeit, die Open-Source-Kultur und das Wachstum der Nutzer-Community
  • Persönlich plant er, sich einer neuen Herausforderung zu stellen und außerhalb von Meta ein kleines Projekt zu starten

Abschied von Meta und PyTorch

  • Nach 11 Jahren bei Meta und rund 8 Jahren an der Spitze von PyTorch erreichte er eine Akzeptanz von über 90 % in der KI-Branche
    • PyTorch unterstützt heute Exascale-Training und treibt Foundation Models an, die Intelligenz neu definieren
    • Es wird in Bildungseinrichtungen von MIT bis in ländliche Regionen Indiens eingesetzt, womit das Ziel verbesserter Zugänglichkeit nahezu erreicht wurde
  • Angesichts des schnellen Fortschritts in der KI müsse sich auch PyTorch weiterentwickeln, erwähnte aber zugleich, dass bereits sehr viel erreicht wurde
  • Er dankte allen Mitwirkenden, die an die Kraft von Open Source und eine freudige Forschungskultur geglaubt haben
  • Zwar hätte er intern bei Meta in eine andere Rolle wechseln können, entschied sich aber aus Neugier und dem Wunsch nach einer neuen Herausforderung für den Schritt nach außen
  • Er schloss den Text mit der Botschaft, man solle „KI lecker und zugänglich machen“, und erklärte, der Community weiterhin verbunden zu bleiben

Die künftige Stabilität von PyTorch

  • Er wollte PyTorch nie dauerhaft selbst führen und plante gezielt, in einer stabilen Phase zu gehen
    • Ende 2024 begann er mit den Vorbereitungen für seinen Abschied, und im August 2025 war er überzeugt, dass das Team unabhängig arbeiten kann
  • Schlüsselpersonen wie Edward, Suo, Alban, Greg, John, Joe und Jana lösen Produkt- und Organisationsfragen eigenständig
  • Als Beleg für die Resilienz der Organisation nannte er die konsistente Produktgeschichte der PyTorch Conference und Verbesserungen gegenüber früheren Problemen
  • Greg, Alban, Ed, Jason und Joe tragen Werte und Kultur von PyTorch weiter, zudem gebe es viele Menschen mit denselben Grundüberzeugungen
  • Die technischen Fähigkeiten von John, Suo und Jana sowie ihre Zusammenarbeit erwähnte er konkret und zeigte sich dadurch zuversichtlich in die Nachhaltigkeit des Teams

Die Zeit bei Meta

  • Er erinnerte sich an die frühe FAIR-Zeit als eine „magische Zeit“ und arbeitete an verschiedensten Projekten mit, darunter GAN-Forschung, StarCraft-Bots, der Aufbau des FAIR-Clusters, Objekterkennung und die Entwicklung von PyTorch
  • Die Jahre 2015 bis 2016 bezeichnete er als seine produktivste und zugleich angenehmste Zeit
  • Er erwähnte, wie sehr ihm in der Anfangszeit das Mentoring von Andrew Tulloch geholfen habe

Die Entwicklungsreise von PyTorch

  • Er war über den gesamten Prozess hinweg direkt beteiligt – von Entwurf, Betrieb, Dokumentation und Auslieferung – und half dabei, PyTorch zu einem Produkt mit Hunderten Beteiligten wachsen zu lassen
  • Er dankte Ingenieurinnen und Ingenieuren, Forschenden, Open-Source-Beitragenden, Dokumentationsautorinnen und -autoren sowie Hardware-Partnern innerhalb und außerhalb von Meta
  • Er erwähnte zahlreiche Schlüsselfiguren, darunter Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison und Edward Yang
  • Er erinnerte sich an einen Fall auf der NeurIPS 2017, bei dem ein Doktorand dank PyTorch seine Forschung abschließen konnte, und spürte daran den Einfluss auf die Nutzerinnen und Nutzer
  • Die PyTorch Conference wuchs von einem familiären Treffen mit 300 Personen zu einer Branchenveranstaltung mit 3.000 Teilnehmenden, und er zeigte sich stolz auf den gewachsenen Einfluss

Worte des Dankes

  • Er erwähnte, dass Mark Zuckerberg und Mike Schroepfer mit ihrer Unterstützung der Open-Source-Strategie FAIR und PyTorch überhaupt erst möglich gemacht hätten
  • Er dankte Yann LeCun und Rob Fergus für den Aufbau des frühen FAIR
  • Die technische Führung und Umsetzungskraft von Aparna Ramani hob er besonders hervor
  • Er erwähnte die Offenheit und Zusammenarbeit des Infrastrukturteams, darunter Santosh, Kaushik, Delia, Oldham und Ben
  • Er sprach seinen Dank an Führungskräfte wie Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna und Damien aus

Abschließende Worte

  • Mit den Worten „Das war nicht meine Reise, sondern unsere Reise“ betonte er die gemeinsame Leistung
  • Für die Zukunft kündigte er an, sich an „kleinen, neuen und unbequemen Dingen“ versuchen zu wollen
  • Der PyTorch-Community hinterließ er die ermutigende Botschaft, weiter daran zu arbeiten, „KI lecker und einfach zu machen“

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-11-08
Hacker-News-Kommentare

  • Viele Kommentare scheinen PyTorch retrospektiv zu bewerten. Als Soumith Chintala PyTorch mitentwickelte, gab es jedoch kaum schnelle und interaktive Entwicklungsumgebungen. JAX existierte noch nicht.
    PyTorch war damals so viel besser, dass praktisch alle Forschenden, die es ausprobierten, sofort wechseln wollten. Auch Andrej Karpathy schrieb 2017 in einem Tweet: „Ich habe PyTorch ein paar Monate benutzt, und es hat mein Leben verändert“ (Tweet-Link).
    Danke an Soumith für seine jahrelange hingebungsvolle Arbeit, und viel Erfolg auf seinem weiteren Weg

    • Chainer hatte bereits das Define-by-Run-Modell vorgestellt. Es war ein Framework, das von einem kleinen japanischen Unternehmen entwickelt wurde, und in frühen PyTorch-Versionen wurde klar darauf hingewiesen, dass Chainer einen großen Einfluss hatte
    • PyTorch wurde von der Python-Autograd-Bibliothek um 2015 inspiriert. Tatsächlich hieß auch das automatische Differenzierungssystem von PyTorch „autograd“. JAX ist der direkte Nachfolger von Autograd, und einige seiner Entwickler arbeiten noch heute im JAX-Team. Auch der PyTorch-Mitautor Adam Paszke arbeitet inzwischen an den Projekten JAX und Dex mit (Autograd-Historie, PyTorch-Vorstellung im Archiv)

  • Ich bin einer der Menschen, die bei Meta und PyTorch direkt von Soumith eingestellt wurden und mit ihm gearbeitet haben.
    Soumith verstand PyTorch immer als Community-zentriertes Projekt. Er würdigte nicht nur die Beiträge der Miterschaffer Adam und Sam, sondern auch im Zuge der Integration mit dem Caffe2-Team die Beiträge aller Beteiligten.
    PyTorch wurde von Anfang an als offenes Framework für die Forschungsgemeinschaft konzipiert, und Soumith sorgte während des gesamten Wachstums dafür, dass neue Menschen und Organisationen mitmachen konnten.
    Er war ein wahrer Talentmagnet, und dadurch haben unzählige großartige Menschen mit Leidenschaft an der Weiterentwicklung von PyTorch gearbeitet.
    Selbst wenn er jetzt geht, ist PyTorch inzwischen auf einem Stand, auf dem es sehr gut eigenständig bestehen kann. Genau so sieht der Erfolg von Open Source aus

    • Ich habe ebenfalls mit Soumith gearbeitet, und er ist wirklich eine legendäre Persönlichkeit. Er war ein Leader, der enorme Veränderungen bewirkte und dabei bescheiden blieb, sich nicht auf Politik einließ und die Menschen um sich herum wachsen ließ. Ich wünsche ihm von Herzen alles Gute

  • Interessant an der Sache ist, dass es wie ein Signal wirkt, dass es bei Meta intern keine proprietären AI-Assets gibt.
    Es erinnert ein wenig an den Mythos, Militärforschung sei der Realität weit voraus.
    Am Ende scheint es, als würden auch die AI-Labore der Big Tech ohne besondere Geheimtechnologien einfach ähnliche Arbeit wie alle anderen wiederholen

    • Das ist wohl eine etwas zu weitgehende Interpretation. Soumith hat 11 Jahre bei Meta gearbeitet und dürfte reichlich Aktienvergütung erhalten haben. Außerdem hat er vor Kurzem ein Kind bekommen, und die Work-Life-Balance bei Meta ist nicht besonders gut.
      Dazu kommt, dass Meta sich zuletzt stärker auf LLMs ausrichtet, wodurch die bisherige Rolle von PyTorch kleiner wird. In diesem Licht wirkt der Zeitpunkt für einen Wechsel ganz natürlich
    • Militärtechnik ist in Wirklichkeit oft sogar hinter dem zivilen Bereich zurück. Geheimhaltung behindert die Zusammenarbeit, und politische Faktoren machen vieles ineffizient
    • Soumiths Abschied scheint nichts mit der Originalität von Metas AI zu tun zu haben. Es wirkt eher so, als sei einfach der Zeitpunkt gekommen, an dem er etwas Neues wollte.
      Auch bei den heutigen Behauptungen in der AI-Branche, AGI stehe kurz bevor, sind interne Entwickler nicht besonders aufgeregt. Dass Karpathy wieder zur Lehre zurückkehrt oder Mira Murati ein Startup gründet, passt in denselben Kontext
    • Er sagte nur, dass er sich auf kleine Dinge konzentrieren möchte. Es ist nicht einmal klar, ob sein neues Projekt überhaupt mit AI zu tun haben wird
    • Wer schon einmal direkt mit militärischer Ausrüstung zu tun hatte, weiß, dass sogenannte „hochmoderne Militärtechnik“ meist aus bewährter älterer Technik mit billigen Bauteilen besteht. So wie in russischen Drohnen Raspberry Pi steckt, ist die Realität oft erstaunlich gewöhnlich

  • Soumiths Leidenschaft war ansteckend. Ich habe nach dem DCGAN-Paper mit Lua Torch experimentiert, und schon auf dem kleinen Oxford-flowers-Datensatz funktionierte es gut.
    Soumith war so überrascht, dass er die Ergebnisse sogar in sozialen Medien teilte.
    Damals waren PyTorch und Lua Torch viel einfacher zu handhaben als TensorFlow, und der Code hatte eine hacking-freundliche Struktur, sodass Forschende frei experimentieren konnten

    • Es gab einen Kommentar, der fragte, was der Oxford-flowers-Datensatz ist und wo man ihn bekommen kann

  • Beeindruckend fand ich seine Aussage, er wolle „kleine und neue Dinge ausprobieren, Dinge, die er noch nicht ganz versteht und die unbequem sind“.
    Auch innerhalb von Meta hätte er etwas anderes machen können, aber er folgte seiner Neugier, dass er nach draußen gehen müsse. Das wirkt fast wie „Siddhartha kehrt in den Wald zurück“

    • Dem Ausdruck „Siddharthas Schatten“ stimme ich zu, zugleich ist er aber auch jemand, der sich nach einer Zeit bei einem Megakonzern mit großer gesellschaftlicher Wirkung vorübergehend davon lösen will

  • Als JAX-Nutzer respektiere ich den Erfolg von PyTorch. Nachdem TensorFlow 1 Fehler gemacht hatte, dominierte PyTorch das AI-Ökosystem.
    Ich hoffe, dass auch Matt Johnson dafür, Autograd zu JAX weiterentwickelt zu haben, eines Tages ähnlich hoch geschätzt wird wie Soumith

    • Es gab einen Kommentar mit der Frage, warum TensorFlow als gescheitert angesehen wird
    • Es gab auch die Frage, ob jemand Erfahrung mit JAX und PyTorch hat und warum JAX bevorzugt wird
    • JAX ist großartig, aber die Unbeständigkeit von Googles Projekten ist besorgniserregend. Es besteht immer das Risiko, dass es irgendwann durch eine inkompatible Version wie JAX 2.0 ersetzt wird

  • Auch die zugrunde liegende Bibliothek von Torch ist wirklich ein Werkzeug, mit dem das Arbeiten Freude macht. Für Rust gibt es Bindings wie tch und Burn, und sie arbeiten gut mit libtorch zusammen.
    Ein Vorteil von PyTorch ist, dass dynamisches Debugging möglich ist. Ich vermisse bis heute die Erfahrung, ein Modell direkt im Terminal anzuhalten und den internen Zustand zu inspizieren

    • Das führte zwar dazu, dass ich früher auch viel schrecklichen Code geschrieben habe, aber diese Zeit war wirklich glorreich

  • Beeindruckend war seine Aussage: „Ich war in einer Position, in der mich alle großen AI-Unternehmen und Hardware-Anbieter erreichen konnten, aber am Ende hat die Neugier gewonnen.“
    Ich hoffe, dass er noch einmal ein neues mächtiges Werkzeug erschafft

    • Wenn die Neugier verschwindet, fällt alles auseinander. Ich kenne dieses Gefühl nur zu gut.
      Ich hatte Zeiten, in denen ich lange sinnlose Arbeit machen musste, um meinen Lebensunterhalt zu verdienen, und beneide ihn deshalb ein wenig darum, so eine Entscheidung treffen zu können

  • Die Aussage „PyTorch wird vom MIT bis zum Klassenzimmer im ländlichen Indien gelehrt“ blieb mir im Kopf.
    Vielleicht sind manche Klassenzimmer in Indien in Bezug auf Bildungszugang und praxisorientiertes Lernen sogar besser als amerikanische Elite-Ingenieurhochschulen

    • Amerikanische „Elite-Ingenieurhochschulen“ werden in Wirklichkeit oft eher nach sozialem Status und Forschungsleistung bewertet, während die Lehrqualität niedrig sein kann
    • Umgekehrt gibt es Kritik daran, dass traditionelle Bildung in Indien stark auf Auswendiglernen und Prüfungen ausgerichtet ist. US-Hochschulen sind auch nicht perfekt, aber manche meinen, die Probleme des indischen Bildungssystems seien weiterhin gravierend

  • Als jemand, der PyTorch jeden Tag nutzt, bin ich Soumith und dem Team aufrichtig dankbar.
    Dank dieses Werkzeugs kann ich Ideen direkt ausprobieren, die früher nur vorstellbar waren.
    PyTorch ist zu einem großen Teil meines Lebens geworden, und ich wünsche ihm für seine nächste Reise viel Glück