Jedes Mal, wenn Karpathy ein Unternehmen verlässt, erstellt er in seiner freien Zeit großartige Lehrmaterialien, und es fühlt sich an, als mache das Feld einen Sprung nach vorn.
Gibt es Beispiele? Ich bin in diesem Bereich nicht so vertraut.
Stimmt, ich hoffe, dass diesmal viel Content rund um Open Source kommt.
Karpathy ist wirklich ein hervorragender Lehrer. Ich habe seinen Computer-Vision-Kurs besucht, und ich wünschte, er würde mehr lehren und diese Arbeit ernsthaft weiterverfolgen.
Dass jemand ein populärer AI-Influencer ist, heißt nicht, dass er ein guter Forscher ist; mit guten Business-Leadern oder Gründern scheint es eher stark negativ zu korrelieren.
Ich hoffe, er kehrt in aller Ruhe zu dieser heute dringend benötigten, fast verlorenen Kunst zurück, Komplexes elegant zu erklären, und driftet nicht zu sehr dahin ab, mit den Hochstaplern des Silicon Valley Zeit zu verschwenden.
Je mehr ich darüber nachdenke, desto mehr glaube ich, dass es einen Menschen ziemlich beeinflussen muss, wenn der eigene Tweet direkt auf die Titelseite von Hacker News kommt. Wegen seines Namens und seines Einflusses prasseln Angebote und Chancen auf ihn ein, aber das muss nicht heißen, dass sie tatsächlich die passendsten Positionen sind.
Es wäre schön, wenn Wissen angemessen entlohnt würde. YouTube scheint dem noch am nächsten zu kommen, zeigt aber auch, wie viel Zeit YouTube-Lehrende darauf verwenden müssen, Aufrufe zu generieren, statt Fachwissen zu vermitteln.
Dass sich wegen Name und Einfluss Angebote häufen, die nicht unbedingt zur tatsächlichen Eignung passen, ist leider so etwas wie eine Kurzfassung des Lebens. Selten bekommt die am besten passende Person eine bestimmte Stelle; man kann wegen Überqualifikation ausgesiebt werden, in der HR-Runde scheitern oder aus vagen Gründen abgelehnt werden, etwa Rückkehr-ins-Büro-Forderungen, abgelehnten Gegenangeboten oder nicht offengelegten illegalen Faktoren.
Es ist ein schlechtes Spiel, daher ist es schwer, jemandem vorzuwerfen, die Karten zu nutzen, die er hat.
Manchmal wünschte ich, Lehren als ganzer Beruf würde höher geschätzt. Ich würde gern meinen Lebensunterhalt damit verdienen zu lehren, ohne Forschung zu betreiben.
Ich denke, gute Lehrende werden zu hervorragenden Forschern. Sie müssen ihr Fachgebiet sehr gut verstehen, die nötigen Fragen vorhersehen und sich selbst stellen, das Feld immer wieder mit frischem Blick betrachten, gut zusammenarbeiten können und vor allem eine gute Kommunikationsfähigkeit haben.
Großartige Pädagogen wie Karpathy bauen etwas von Grund auf und erklären es so, dass ich es verstehen kann. Ich frage mich, ob das an den Fähigkeiten der Dozenten liegt oder daran, dass Studierende wie ich nicht gut genug sind, um andere Materialien zu verstehen.
Kleine Korrektur: Es heißt nicht „b-lined“, sondern bee-lined.
Normalerweise weise ich auf so etwas nicht hin, aber „b-lined“ könnte auch im gegenteiligen Sinn gelesen werden, nämlich als niedrige Priorität wie bei „B-list celebrity“.
Ehrlich gesagt scheint OpenAI schnell seinen Glanz zu verlieren.
Plugins waren ein Fehlschlag, GPTs sind etwas besser, aber ein Product-Market-Fit ist noch nicht zu erkennen. GPT-4 sitzt zwar immer noch auf dem Thron, ist aber nicht mehr so überwältigend wie früher, und da keine Papers veröffentlicht werden, ist auch nicht klar, ob sie gute Forschung betreiben.
GPT-5 muss jetzt unglaublich gut werden, aber ich weiß nicht, ob das wirklich der Fall sein wird.
Ich weiß, dass sich dieses Feld besonders schnell bewegt, aber GPT-4 ist noch nicht einmal ein Jahr alt. Zu sagen, sie verlören ihren Glanz, nur weil sie nicht jedes Quartal ein neues Modell mit tektonischer Wirkung veröffentlichen, wirkt etwas lächerlich.
Da die Popularität explodiert ist und ethische Fragen wichtiger geworden sind, kann es nötig sein, sich Zeit zu nehmen, um einige Dinge richtig auszuarbeiten, statt einfach als Erste zu veröffentlichen.
Ich habe gerade Gemini Ultra ausprobiert und war ziemlich schockiert, wie viel schlechter es als GPT-4 ist. Schon bei ein paar Coding-Fragen halluziniert es jedes Mal neue Syntax, die es gar nicht gibt, und fragt dann, ob man mit Option A oder B fortfahren will, die weder funktionieren noch tatsächlich existieren; das wird zu einer seltsamen, frustrierenden Zeitverschwendung.
Am Ende habe ich erst nach einer Stunde, in der ich überhaupt ein Ergebnis in der gewünschten Sprache aus ihm herauszubekommen versuchte, gemerkt, dass es völlig nutzlos ist.
Es ist erstaunlich, wie weit Google zurückliegt und dass sie so ein wertloses Ding veröffentlicht haben. Und dann auch noch Geld dafür verlangen zu wollen, ist schon ziemlich dreist.
Natürlich freue ich mich auf GPT-5, aber selbst mit nur kleinen Verbesserungen liegt OpenAI weiterhin weit vorn.
Google-Mitarbeitende wünschen sich wahrscheinlich, OpenAI würde verschwinden. Denn durch OpenAI sieht Google ziemlich genau wie ein Unternehmen à la IBM aus.
Die lustige Szene ist hier: https://twitter.com/Suhail/status/1757573182138290284
Wenn man mit Ollama ein 80-GB-Mistral-Modell betreibt, funktioniert es genauso gut wie ChatGPT 3.5 oder sogar besser. Ich halte es für eine gute Sache für die Welt, dass die Magie nicht mehr nur OpenAI gehört.
Es ist erstaunlich, wie schnell die Konkurrenz allein in den letzten drei Monaten aufgeholt hat.
Wenn OpenAI schnell seinen Glanz verliert, fände ich das gut.
Ich habe überhaupt keine Ahnung, was in diesem Unternehmen wirklich vor sich geht, aber das Verhalten der Mitarbeitenden auf Twitter, als Altman verdrängt wurde, war wirklich beängstigend und voller Warnsignale und schlechter Stimmung.
Vielleicht eine unpopuläre Meinung, aber ich glaube, Karpathys Bekanntheit und Einfluss kommen fast vollständig daher, dass er ein herausragender Lehrer und Kommunikator ist.
Im Verhältnis zu diesem Ruf bin ich mir nicht sicher, wie groß sein tatsächlicher Beitrag dazu war, AI voranzubringen.
Für seine Lerninhalte bin ich sehr dankbar, und es freut mich, dass er dadurch Einfluss gewinnen und seine Karriere aufrechterhalten konnte. Ich hoffe, er ist damit reich genug geworden, um sich zu 100 % auf Bildung konzentrieren zu können.
Stimme nicht zu. Ich glaube, der Wert hervorragender Lehrmaterialien wird oft unterschätzt. Karpathy hat einem AI-Feld, das von übermäßig komplizierten und dichten mathematischen Erklärungen geprägt war, neuen Schwung gegeben. CS 231 war zum Beispiel einer der beliebtesten AI/ML-Kurse in Stanford. Wenn man bedenkt, wie viele Studierende diesen Kurs etwa 2015–2017 belegt haben und später im AI-Bereich gewachsen sind, ist es nicht übertrieben zu sagen, dass ein erheblicher Anteil des Verdienstes auf diesen Kurs zurückgeht.
Lehrende, die Schritt für Schritt führen und zeigen, wie einfach etwas sein kann, sind enorm wertvoll. Sie spielen eine Schlüsselrolle dabei, die Einstiegshürden in ein Feld zu senken.
Langfristig werden neue Leute, die durch Materialien wie die von Karpathy zur AI gekommen sind, große Durchbrüche erzielen. Sein „Hacker's Guide to Neural Networks“ ist fast zehn Jahre alt, hat mir aber immer noch den klarsten Aha-Moment zum Verständnis von Backpropagation verschafft.
Bildung und Kommunikation sind wichtig. Sie ziehen neue Menschen in das Feld, lassen auch diejenigen wachsen, die bereits darin arbeiten, und beides ist für langfristiges Wachstum und Fortschritt unverzichtbar.
Nur nicht-pädagogische Aktivitäten als „tatsächliche Beiträge“ zu bezeichnen, wertet die Rolle großartiger Lehrender im Fortschritt vollständig ab. Wo wären wir heute ohne solche Bildung?
Er hat dazu beigetragen, AI voranzubringen. Man muss dafür nicht einmal das Wort „tatsächlich“ davor setzen. Den Verlust eines großartigen Lehrers sollte man genauso bedauern wie den Verlust eines großartigen Engineers.
Karpathy hat Pionierarbeit im Bereich Image Captioning geleistet und semantische Räume für Vision und Text aufeinander ausgerichtet. Das ist eine konzeptionelle Grundlage moderner Bildgeneratoren.
Außerdem hat er rekurrente neuronale Netze hervorragend analysiert und eine der frühesten und besten Erklärungen dazu geliefert, was im Inneren von Sprachmodellen vor sich geht.
Die Kommentarspalten von Hacker News sind eines der am wenigsten legitimen Foren, die man sich vorstellen kann, um öffentlich den Lebenslauf einer Person zu bewerten. Vielleicht abgesehen vom Parlament.
Er sagte: „Mein unmittelbarer Plan ist, an persönlichen Projekten zu arbeiten und zu sehen, was passiert. Wer mich schon länger verfolgt, hat wahrscheinlich eine Vorstellung davon, wie das aussehen könnte.“ Weiß hier jemand etwas?
Ich vermute, er meint seine YouTube-Serie. Ich freue mich darauf.
In seinem früheren Profil stand, dass er bei OpenAI an JARVIS arbeitet.
In seiner Videoserie baute er eine kleine, effiziente Version von GPT-3.
Man kann es auf GitHub sehen: https://github.com/karpathy
Er interessiert sich auch für Open-Source-Modelle und ist auf /r/localllama aktiv.
Mit seinem Erzähltalent und dem Lösen von Zauberwürfeln dürfte er auch auf Kinderpartys ziemlich gut ankommen. Außerdem kann er lehren und bauen. Hat er den Everest noch nicht bestiegen?
Stimme stark zu. Das war eine großartige Kurzgeschichte. Ich würde sie irgendwann gern in einer erweiterten Form sehen.
Will er sich auf seinen YouTube-Kanal konzentrieren? Ich freue mich darauf. Seine Inhalte sind wirklich hervorragend.
Ich auch. Die Python-Miniaturen für rekurrente neuronale Netze wie char-rnn, die er vor etwa acht Jahren veröffentlicht hat, waren beim Lernen wirklich hilfreich.
Das würde wahrscheinlich bedeuten, dass er auf Millionen von Dollar verzichtet. Klar, es geht ihm sicher gut und er könnte früh in Rente gehen, aber Millionen von Dollar sind trotzdem viel Geld.
Dieser Artikel hat eine harte Paywall, daher werde ich die entsprechenden Kommentare hierher zusammenführen. Bitte kurz warten.
Angesichts seines angehefteten Tweets „Die heißeste neue Programmiersprache ist Englisch“ wirkt die Botschaft am Ende seines Textes, „Wer mich kennt, weiß, was ich mache ;)“, wie ein Hinweis auf irgendeine Art von Developer Tool.
Für einen Technologie-Visionär wäre das naheliegend, und Hacker scheinen der Versuchung, Tools zu bauen, die sie selbst besser machen, am Ende nicht widerstehen zu können.
Hat jemand bessere Informationen als meine müßige Spekulation?
Er wird Vollzeit-YouTuber.
Er hat ein paar Mal über ein LLM-basiertes Betriebssystem spekuliert. Wenn es das wäre, fände ich das wirklich spannend.
1 Kommentare
Meinungen auf Hacker News
Jedes Mal, wenn Karpathy ein Unternehmen verlässt, erstellt er in seiner freien Zeit großartige Lehrmaterialien, und es fühlt sich an, als mache das Feld einen Sprung nach vorn.
Karpathy ist wirklich ein hervorragender Lehrer. Ich habe seinen Computer-Vision-Kurs besucht, und ich wünschte, er würde mehr lehren und diese Arbeit ernsthaft weiterverfolgen.
Dass jemand ein populärer AI-Influencer ist, heißt nicht, dass er ein guter Forscher ist; mit guten Business-Leadern oder Gründern scheint es eher stark negativ zu korrelieren.
Ich hoffe, er kehrt in aller Ruhe zu dieser heute dringend benötigten, fast verlorenen Kunst zurück, Komplexes elegant zu erklären, und driftet nicht zu sehr dahin ab, mit den Hochstaplern des Silicon Valley Zeit zu verschwenden.
Je mehr ich darüber nachdenke, desto mehr glaube ich, dass es einen Menschen ziemlich beeinflussen muss, wenn der eigene Tweet direkt auf die Titelseite von Hacker News kommt. Wegen seines Namens und seines Einflusses prasseln Angebote und Chancen auf ihn ein, aber das muss nicht heißen, dass sie tatsächlich die passendsten Positionen sind.
Dass sich wegen Name und Einfluss Angebote häufen, die nicht unbedingt zur tatsächlichen Eignung passen, ist leider so etwas wie eine Kurzfassung des Lebens. Selten bekommt die am besten passende Person eine bestimmte Stelle; man kann wegen Überqualifikation ausgesiebt werden, in der HR-Runde scheitern oder aus vagen Gründen abgelehnt werden, etwa Rückkehr-ins-Büro-Forderungen, abgelehnten Gegenangeboten oder nicht offengelegten illegalen Faktoren.
Es ist ein schlechtes Spiel, daher ist es schwer, jemandem vorzuwerfen, die Karten zu nutzen, die er hat.
Normalerweise weise ich auf so etwas nicht hin, aber „b-lined“ könnte auch im gegenteiligen Sinn gelesen werden, nämlich als niedrige Priorität wie bei „B-list celebrity“.
Ehrlich gesagt scheint OpenAI schnell seinen Glanz zu verlieren.
Plugins waren ein Fehlschlag, GPTs sind etwas besser, aber ein Product-Market-Fit ist noch nicht zu erkennen. GPT-4 sitzt zwar immer noch auf dem Thron, ist aber nicht mehr so überwältigend wie früher, und da keine Papers veröffentlicht werden, ist auch nicht klar, ob sie gute Forschung betreiben.
GPT-5 muss jetzt unglaublich gut werden, aber ich weiß nicht, ob das wirklich der Fall sein wird.
Da die Popularität explodiert ist und ethische Fragen wichtiger geworden sind, kann es nötig sein, sich Zeit zu nehmen, um einige Dinge richtig auszuarbeiten, statt einfach als Erste zu veröffentlichen.
Am Ende habe ich erst nach einer Stunde, in der ich überhaupt ein Ergebnis in der gewünschten Sprache aus ihm herauszubekommen versuchte, gemerkt, dass es völlig nutzlos ist.
Es ist erstaunlich, wie weit Google zurückliegt und dass sie so ein wertloses Ding veröffentlicht haben. Und dann auch noch Geld dafür verlangen zu wollen, ist schon ziemlich dreist.
Natürlich freue ich mich auf GPT-5, aber selbst mit nur kleinen Verbesserungen liegt OpenAI weiterhin weit vorn.
Die lustige Szene ist hier: https://twitter.com/Suhail/status/1757573182138290284
Es ist erstaunlich, wie schnell die Konkurrenz allein in den letzten drei Monaten aufgeholt hat.
Ich habe überhaupt keine Ahnung, was in diesem Unternehmen wirklich vor sich geht, aber das Verhalten der Mitarbeitenden auf Twitter, als Altman verdrängt wurde, war wirklich beängstigend und voller Warnsignale und schlechter Stimmung.
Vielleicht eine unpopuläre Meinung, aber ich glaube, Karpathys Bekanntheit und Einfluss kommen fast vollständig daher, dass er ein herausragender Lehrer und Kommunikator ist.
Im Verhältnis zu diesem Ruf bin ich mir nicht sicher, wie groß sein tatsächlicher Beitrag dazu war, AI voranzubringen.
Für seine Lerninhalte bin ich sehr dankbar, und es freut mich, dass er dadurch Einfluss gewinnen und seine Karriere aufrechterhalten konnte. Ich hoffe, er ist damit reich genug geworden, um sich zu 100 % auf Bildung konzentrieren zu können.
Dieser Artikel inspirierte OpenAIs Alec Radford zur Arbeit an Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI beschloss, zu sehen, was passiert, wenn man dieses Modell mit der neuen, von Google entwickelten Transformer-Architektur hochskaliert, und entwickelte etwas namens GPT: https://cdn.openai.com/research-covers/language-unsupervised...
CS 231 war zum Beispiel einer der beliebtesten AI/ML-Kurse in Stanford. Wenn man bedenkt, wie viele Studierende diesen Kurs etwa 2015–2017 belegt haben und später im AI-Bereich gewachsen sind, ist es nicht übertrieben zu sagen, dass ein erheblicher Anteil des Verdienstes auf diesen Kurs zurückgeht.
Lehrende, die Schritt für Schritt führen und zeigen, wie einfach etwas sein kann, sind enorm wertvoll. Sie spielen eine Schlüsselrolle dabei, die Einstiegshürden in ein Feld zu senken.
Langfristig werden neue Leute, die durch Materialien wie die von Karpathy zur AI gekommen sind, große Durchbrüche erzielen. Sein „Hacker's Guide to Neural Networks“ ist fast zehn Jahre alt, hat mir aber immer noch den klarsten Aha-Moment zum Verständnis von Backpropagation verschafft.
Nur nicht-pädagogische Aktivitäten als „tatsächliche Beiträge“ zu bezeichnen, wertet die Rolle großartiger Lehrender im Fortschritt vollständig ab. Wo wären wir heute ohne solche Bildung?
Er hat dazu beigetragen, AI voranzubringen. Man muss dafür nicht einmal das Wort „tatsächlich“ davor setzen. Den Verlust eines großartigen Lehrers sollte man genauso bedauern wie den Verlust eines großartigen Engineers.
Außerdem hat er rekurrente neuronale Netze hervorragend analysiert und eine der frühesten und besten Erklärungen dazu geliefert, was im Inneren von Sprachmodellen vor sich geht.
Er sagte: „Mein unmittelbarer Plan ist, an persönlichen Projekten zu arbeiten und zu sehen, was passiert. Wer mich schon länger verfolgt, hat wahrscheinlich eine Vorstellung davon, wie das aussehen könnte.“ Weiß hier jemand etwas?
Man kann es auf GitHub sehen: https://github.com/karpathy
Ich hoffe, er schreibt in seiner freien Zeit mehr Fiction. https://karpathy.github.io/2015/11/14/ai/ hat mir wirklich gut gefallen.
Will er sich auf seinen YouTube-Kanal konzentrieren? Ich freue mich darauf. Seine Inhalte sind wirklich hervorragend.
Der Zeitpunkt, zu dem er wieder zu OpenAI gestoßen ist, scheint fast genau ein Jahr her zu sein: https://twitter.com/karpathy/status/1623476659369443328
Verwandter Artikel: „Andrej Karpathy Departs OpenAI“[0] (159 Punkte, vor 2 Stunden, 71 Kommentare)
[0]: https://news.ycombinator.com/item?id=39365288
Angesichts seines angehefteten Tweets „Die heißeste neue Programmiersprache ist Englisch“ wirkt die Botschaft am Ende seines Textes, „Wer mich kennt, weiß, was ich mache ;)“, wie ein Hinweis auf irgendeine Art von Developer Tool.
Für einen Technologie-Visionär wäre das naheliegend, und Hacker scheinen der Versuchung, Tools zu bauen, die sie selbst besser machen, am Ende nicht widerstehen zu können.
Hat jemand bessere Informationen als meine müßige Spekulation?