Meine Methode, mit der AI-Entwicklung Schritt zu halten (und warum auch Sie das unbedingt tun sollten)

 (blog.nilenso.com)
87 Punkte von GN⁺ 2025-07-21 | 5 Kommentare | Auf WhatsApp teilen
  • Generative AI ist die sich am schnellsten entwickelnde Technologie, und sowohl Unterschätzung als auch Überschätzung sind riskant
  • Verlässlichen Quellen und vertrauenswürdigen Expertinnen und Experten konsequent zu folgen, ist unerlässlich
  • Eine ausgewogene Informations-Pipeline wie Simon Willison’s Blog, Andrej Karpathy, Every’s Chain of Thought wird empfohlen
  • Offizielle Veröffentlichungen von AI-Laboren, Engineering-Blogs und Papers sind essenziell, um den tatsächlichen technischen Fortschritt und seine Grenzen zu verstehen
  • Über Twitter/X, News-Kuration und Expertenlisten lassen sich sowohl aktuelle Entwicklungen als auch tiefgehende Analysen verfolgen

Einleitung: Missverständnisse über AI und Informationsverschmutzung

  • Generative AI ist nach Ansicht des Autors die sich am schnellsten entwickelnde Technologie seines Lebens
  • Gleichzeitig sind Missverständnisse über AI weit verbreitet, und das Informationsumfeld selbst ist äußerst chaotisch
  • Es gibt reale Fälle, in denen Unternehmen, Regierungen oder Einzelpersonen, die die zugrunde liegende Technologie nicht ausreichend verstehen, sie missbrauchen oder ernsthaften Schaden verursachen
  • Es gibt Missverständnisse an beiden Extremen: AI wird entweder unterschätzt („ein Hype, der bald wieder verschwindet“) oder überschätzt („Programmierer werden nicht mehr gebraucht“)
  • Mangelndes korrektes Technologieverständnis ist die Wurzel dieser Fehlwahrnehmungen

Ansatz zur Informationsbeschaffung über AI

  • AI-bezogene Informationen korrekt zu verstehen, ist schwieriger, als es auf den ersten Blick scheint
  • Wir leben in einem Umfeld, in dem man verzerrten Informationen sowie übertriebenen oder unterdrückten Narrativen täglich ausgesetzt ist
  • Wer Informationen nicht bewusst und systematisch auswählt, läuft Gefahr, leicht Fehlern, Übertreibungen und Verzerrungen ausgesetzt zu sein
  • Der Autor profitiert von einer ausgewogenen Informations-Pipeline und empfiehlt sie Einsteigerinnen und Einsteigern als guten Ausgangspunkt

Allgemeine Prinzipien der Informationsbeschaffung

  • Es ist wichtig, sich an Informationen nahe an der Primärquelle zu orientieren
    • Offizielle Ankündigungen von AI-Laboren oder Aussagen wichtiger Personen sollten als Primärquellen geprüft werden
    • Eine Haltung des Misstrauens gegenüber Berichten aus zweiter oder dritter Hand ist nötig
  • Kommentare vertrauenswürdiger Expertinnen und Experten sollten aktiv gesucht und berücksichtigt werden

Empfohlene Ausgangspunkte für Informationen

  • Simon Willison’s Blog

  • Andrej Karpathy

    • Twitter/X | YouTube
    • Gründungsmitglied von OpenAI und Director of AI bei Tesla
    • Einer der zugänglichsten Kanäle, um den inneren Aufbau und die Prinzipien von AI-Modellen zu lernen, einschließlich ihrer kulturellen Wirkung und der gesellschaftlichen Veränderungen durch AI
    • Beispiele: Deep Dive into LLMs like ChatGPT, How I Use LLMs

Every’s Chain of Thought

So beobachtet man offizielle Materialien von AI-Laboren

Beachtenswerte AI-Expertinnen, -Experten und praxisnahe Engineers

  • Informationen von Fachleuten, die Open-Source-Tools entwickeln und praktische Erfahrung im AI Engineering haben, sind oft hilfreicher als offizielle Guides

Besonders empfohlene Personen und Blogs

AI-News/Medien und Community nutzen

  • Twitter/X

    • Twitter/X-Liste
    • Das Zentrum für Echtzeitdiskussionen und Informationsbeschaffung rund um AI, um Meldungen und Debatten aller Art schnell aufzufangen
      • Den Twitter-Feed 15–20 Minuten lang wie eine Zeitung lesen und bei Bedarf weitere Personen oder Quellen hinzufügen

  • Shawn Wang(swyx) / smol.ai

  • Dwarkesh Patel

Communities für vertiefte AI-Diskussionen und Materialien

Praktische Methoden zur Informationsbeschaffung

  • Man muss nicht jede Quelle perfekt verfolgen; praktikabler ist es, den Twitter-Feed wie eine Zeitung zu lesen
  • Wenn man einen interessanten Text entdeckt, empfiehlt es sich, dem Autor zu folgen und auch seine anderen Arbeiten weiterzuverfolgen
  • Diese Art der Informationssuche ähnelt früherem Entdecken von Musik
  • Wer sie als intellektuelle Erkundung begreift, kann daraus Freude statt Pflichtgefühl machen

Fazit und Empfehlungsliste

  • Über die bereitgestellte Twitter/X-Liste lassen sich die oben genannten Expertinnen, Experten und Praktiker auf einmal folgen
  • Eine Liste im RSS-Format soll bald ebenfalls ergänzt werden

Direkt zur Twitter-Liste

Verwandte Beiträge

5 Kommentare

 
GN⁺ 2025-07-21
Hacker-News-Kommentare

  • Ich denke, wenn man grundsätzlich versteht, wie LLMs funktionieren, muss man nicht ständig alle Inhalte von PR-Leuten, Bloggern, Branchenführern und Internet-Denkern verfolgen.
    Im Gegenteil: Wenn man solchen Interviews oder Artikeln hinterherläuft, besteht das Risiko, irgendwelchen seltsamen Trends zu folgen, die einem in Wirklichkeit nicht helfen.
    Tatsächlich lagen die Unterschiede zwischen Modellen oft nur bei ein paar Jahren Entwicklungsabstand, aber die wesentlichen Unterschiede waren nicht groß; die meisten Veränderungen finden derzeit bei Tools oder Integrationen statt.
    Man sollte sich immer klarmachen, dass LLMs letztlich „Textmodelle“ sind und ohne zugrunde liegendes Wissen erzeugen; dann kann man besser einschätzen, wofür sie nützlich sind und wofür nicht.

    • Dem stimme ich wirklich zu; auch die Liste mit den „high signal“-Quellen in dem Blog wirkte auf mich größtenteils wie eine Sammlung von Leuten, die vor allem Eigenwerbung betreiben (einige sind natürlich gut), also eher „Buzz“ als echte Einsichten.
      Mit der Behauptung „AI war in meinem Leben die sich am schnellsten entwickelnde Technologie“ kann ich persönlich auch nicht viel anfangen.
      Ich habe noch die Zeit erlebt, als SVMs groß wurden, neuronale Netze als Witz galten, dann Deep Learning kam und sich innerhalb von gut zehn Jahren verschiedenste DL-Frameworks explosionsartig vermehrten.
      Auch damals gab es innerhalb eines Jahrzehnts wirklich rasante Fortschritte.
      Im Web war es ähnlich: JavaScript diente früher nur zur UX-Ergänzung, bis Single-Page-Apps zum Standard wurden.
      Der Kernpunkt ist: Wenn man nicht gerade auf einer Liste mit „zentralen Influencern“ landen will, ist es oft die viel bessere Strategie, einfach still abzuwarten, bis der Zeitpunkt gekommen ist, an dem es für einen selbst wichtig wird.
      Ich selbst habe nach der backbone.js-Ära zehn Jahre lang alle Webentwicklungs-Trends ignoriert und dann, als ich React brauchte, ein paar Tage gelernt und es direkt einsetzen können.
      Auch bei LSTM wollten vor fünf Jahren noch alle lernen, wie man sie implementiert, und jetzt gelten sie wegen der Transformer als veraltet.
      Was ich in meiner ganzen Karriere gelernt habe: „schnelllebig“ bedeutet auch „nicht ausgereift“.
      In der Praxis ist es oft viel produktiver, ältere statistische Modelle (GLM usw.) und deren weiterhin sehr reale Einsatzmöglichkeiten zu beherrschen, als jedem gerade angesagten „Prompt Hack“ hinterherzujagen.
    • Wenn man die LLM-Architektur grob versteht, lassen sich die meisten Neuigkeiten rund um LLMs in zwei Kategorien einteilen.
      Erstens: ein neues Tool, das sich leicht von bestehenden unterscheidet oder etwas bessere Leistung bringt (wenn es wirklich etwas kann, was es vorher nicht gab, kann es nützlich sein, aber meistens ist es bald wieder veraltet).
      Namen wie Kimi-K2 oder GPT 4.1 erwähnt in ein paar Monaten womöglich niemand mehr.
      Zweitens: Fälle, in denen dem Modell tatsächlich neue Fähigkeiten hinzugefügt wurden.
      Zum Beispiel RL (reinforcement learning), chain of thought, tatsächlich funktionierende Coding Agents, Multimodal-Modelle der Spitzenklasse oder clevere Tool-Anbindung.
      Es reicht, nur auf solche größeren Sprünge zu achten.
      Tatsächlich bekommt man die aktuellen Entwicklungen ohnehin mit, wenn man nur die HN-Posts mit mehr als 500 Punkten überfliegt.
      Ich denke, der beste Weg, die echten Fähigkeiten von LLMs zu verstehen, sind nicht Blogs oder Videos, sondern eigene Erfahrungen beim Bauen und Ausprobieren.
    • Stimme voll zu. Das sage ich Studierenden immer wieder.
      • 1. Beschäftigt euch nicht übermäßig mit den Erfahrungen anderer, sondern konzentriert euch auf eure eigenen direkten Erfahrungen.
      • 2. Baut lieber selbst eine App, statt Blogs zu lesen.
      • 3. Die Erfahrungen unterscheiden sich enorm, also übernehmt nicht einfach die Meinung anderer.
      • 4. Lauft Forschern oder Entwicklern auf Twitter und Substack nicht blind hinterher (meistens ist es nur ihre eigene Bühne).
      • 5. Verschwendet keine Zeit mit Angst oder FOMO, sondern lernt durchs eigene Tun. Wirklich wichtige Veränderungen erfahrt ihr später ohnehin.
      • 6. Informiert zu sein ist wichtig, aber fixiert euch nicht zwanghaft auf Informationen an sich. Teilt eure Zeit klug ein. Diesen Punkt betone ich bei Studierenden immer wieder.
    • Eigentlich gilt das in der Forschung genauso.
      Forschung besteht ohnehin zu 99 % aus schrittweisen Fortschritten (und das ist völlig in Ordnung, daran sollte man nicht verzweifeln).
      Die meisten Papers sind länger als nötig, und wenn man sie richtig liest, kann man mit etwas mathematischer Intuition vieles schon vorher erahnen (kennt man die Idee, kann man die Ergebnisse oft vorwegnehmen).
      Es fühlt sich leicht so an, als würde sich das Feld extrem schnell verändern, aber in Wirklichkeit ist das Tempo gar nicht so hoch.
      Auch ich habe nach einem Jahr Pause aus persönlichen Gründen gemerkt, dass sich gar nicht so viel verändert hatte.
      Mit dieser Perspektive kann man sich vom Druck befreien, ständig „mithalten“ zu müssen.
      Wenn es dir gerade schwerfällt, bedeutet das eher, dass dir noch etwas Fachwissen fehlt, nicht dass du abgehängt wurdest.
      So wie man zuerst laufen lernen muss, um überhaupt einen Schritt hinterherzulaufen, ist diese Hast letztlich nur eine Sorge im eigenen Kopf.
    • Wenn ich LLMs erkläre, finden die Leute weniger die Architektur spannend als vielmehr die „Token-für-Token-Vorhersage (Autoregression)“ und den Punkt, dass nicht zwingend immer das wahrscheinlichste Token genommen wird, sondern proportional zu den Wahrscheinlichkeiten gesampelt wird.
      Der eigentliche Kernalgorithmus (die Vorhersage des nächsten Tokens) ist für die meisten Nicht-Fachleute kaum greifbar.
      Details wie dot product oder embeddings interessieren praktisch niemanden. Selbst wenn man sie erklärt, bleibt davon wenig hängen und es hilft auch nicht besonders viel.

  • Man muss nicht unbedingt den „neuesten Trends“ folgen; besser ist es, locker interessiert zu bleiben und nur gezielt Funktionen oder Methoden auszuprobieren, die die eigene Effizienz wirklich steigern könnten, und nur das mitzunehmen, was sich tatsächlich lohnt (Empfehlungen danach, wer auf X irgendetwas genannt hat, vertraue ich eher nicht). Stattdessen habe ich viel gelernt, indem ich Forschern zugehört habe, die AI-Hype eher kritisch sehen [https://x.com/burkov]. Aktuell gibt es einfach zu viel Übertreibung, Wandel und Unsicherheit. Wenn eine echte Innovation auftaucht, hört man ohnehin davon auf HN (oder in Mainstream-Communities).

    • Selbst ein paar Stunden eigene Nutzung sind als Lernen viel wertvoller als viele Stunden Material zu lesen.

  • Ich finde, der Artikel erklärt das „Warum“ nicht gut genug, deshalb wirkt das „Wie“ der Liste nicht besonders überzeugend. Meine wertvolle Zeit kann ich gut auch anders einsetzen.

    • Ich frage mich sowieso, ob man irgendetwas wirklich „ständig verfolgen“ muss. Substanziell wichtige Innovationen setzen sich am Ende ohnehin durch und kommen auch bei mir ganz von selbst an. Bei Excel oder Google Docs war ich anfangs auch wenig interessiert und habe sie trotzdem später, nachdem sie sich etabliert hatten, problemlos gelernt und genutzt. Wenn es nicht gerade einen klaren Grund gibt, dringend hinterherzulaufen — etwa weil einem AI-Startup die Runway ausgeht —, muss man nicht hektisch werden.

  • Ich abonniere den Newsletter „Pragmatic Engineer“ von Gergely Orosz (mit derzeit vielen AI-Themen) und schaue auch bei Gary Marcus auf Substack rein (mit einer eher LLM-skeptischen Perspektive).
    https://newsletter.pragmaticengineer.com/
    https://substack.com/@garymarcus
    Außerdem verfolge ich automatisch Nachrichten zu Python-Paketen wie Langchain und PydanticAI mit (solche Projekte spiegeln praktische Branchentrends einigermaßen wider). X (Twitter) nutze ich inzwischen nicht mehr, aber Leute wie Simon Willison posten gelegentlich auch auf BlueSky und Mastodon. Sebastian Raschka, Chip Huyen und andere posten auch auf LinkedIn. Es ist zwar über viele Orte verteilt, aber am Ende bekommt man die wichtigen Neuigkeiten meist doch mit.

  • Vielleicht habe ich Wichtiges verpasst, aber zentrale und bedeutende Updates werden auf HN ohnehin früher oder später auf der Startseite oder in den Kommentaren erwähnt.

    • Zu versuchen, mit der Branche Schritt zu halten, ist wie auf ein Laufband mit 140 km/h zu springen. Ich habe einfach aufgegeben, schon das Rennen selbst mitzumachen. Ich stimme zu, dass AI (vor allem LLMs) kein vorübergehender Hype ist, aber im Moment verändert sich alles zu stark. Ich werde erst dann viel Zeit investieren, wenn ich es wirklich brauche. In ein paar Jahren dürfte das Bild der Branche klarer sein. Und selbst wenn nicht, habe ich mir bis dahin wenigstens erspart, Zeit auf Trends zu verschwenden, die schnell wieder bedeutungslos werden. Zur Einordnung: Ich nutze AI oder LLMs derzeit in meiner Arbeit überhaupt nicht.
    • Da Unternehmen riesige Summen investieren und viel R&D betreiben, versuchen sie eher nicht, ihre Technik zu verstecken (eher das Gegenteil von Geheimhaltung).
    • Mit allgemeinen IT-Trends gehe ich insgesamt genauso um.

  • Wenn man vor allem Nachrichten über LLMs und Frontier-AI-Modelle verfolgen möchte, ist die Empfehlungsliste wirklich sehr gut; mehr als die Hälfte der Personen hatte ich selbst ebenfalls unabhängig entdeckt.
    Auf X (Twitter) habe ich eine Liste mit AI-Accounts angelegt und folge ihr; insgesamt ist das die robusteste Informationsquelle.
    Bei einigen lohnen sich auch Blog- oder Podcast-RSS-Feeds (wenn man Forscher ist, sind RSS-Feeds für Papers selbst unverzichtbar).
    Ergänzen würde ich https://epoch.ai, bei Podcasts Dwarkesh Patel, bei Blogs Peter Wildeford, @omarsar0 (DAIR elvis) sowie das direkte Folgen verschiedener Forscher (von denen manche eher zur Unterhaltung als zur Information beitragen).
    Das Informationsumfeld in diesem Bereich ist stark verschmutzt. Wenn man vor allem Medien wie die NYT verfolgt, die das Thema stark politisch behandeln, bekommt man eher ein verzerrtes und ungenaues Bild.
    Übrigens sind die Informationsquellen in ML-Bereichen, die nicht direkt mit generativer AI zu tun haben (z. B. Proteine, Genomik, Wettermodelle, diffusion- und Bildgenerierungsforschung), völlig andere.
    AI/ML ist als Kategorie viel zu breit, um alles auf einmal aufzuholen.
    Ob man wirklich dranbleiben muss? Nein, muss man nicht.
    Bei den meisten ist das einfach nur Neugier auf neue Technologien und aktuelle Trends.
    Wenn man AI im Software Development jedoch komplett ignoriert, kann das mittel- bis langfristig karriereschädlich sein (es reicht aber oft schon, sich einfach mit den Tools selbst vertraut zu machen).
    Ich selbst verfolge es kontinuierlich, weil ich beruflich einen Überblick über die allgemeine Entwicklung behalten muss.

  • Allein Simon Willisons Blog reicht aus, um hochwertige aktuelle Informationen zu lernen (kaum Rauschen, bestes S/N-Verhältnis).

    • Wenn man Simon auf GitHub finanziell unterstützt (10 $ oder mehr), bekommt man per E-Mail „weniger, aber wichtigere Zusammenfassungen“.

      „Zusammenfassung der wichtigsten Entwicklungen im LLM-Bereich des letzten Monats (in unter 10 Minuten lesbar)“
      https://simonwillison.net/about/

    • https://simonwillison.net
    • Zum Glück gibt es auch einen RSS-Feed, über den man sowohl Code als auch News verfolgen kann.

  • Man muss Trends nicht extra hinterherlaufen.

    • Stimmt, jetzt ist vielleicht eher die Zeit, damit aufzuhören und etwas anderes zu machen.
    • Eigentlich ist es auch eine Möglichkeit, die Tech-Branche ganz zu verlassen und eine neue Karriere aufzubauen.
      Tech-Jobs werden immer weniger, und irgendwann wird der Rückgang steil werden (AI wird die Arbeit von zehn Leuten auf eine Person verdichten, danach wohl auch bei White-Collar- und Blue-Collar-Jobs, etwa Robotik in Amazon-Lagern).
      Ich persönlich habe diese Woche mein GPT-Plus-Abo gekündigt, weil ich „dieses Monster“ nicht weiter füttern will.
      Funktionen wie Kartenunterstützung (z. B. Reiserouten oder Fahrradrunden mit Freunden) macht die kostenlose Version von Gemini sogar besser.

  • Wenn man einfach nur der ersten Empfehlung folgt (simows Blog lesen), reicht das meistens schon.

    • Selbst das ist mir manchmal zu aufwendig, also ersetze ich es morgens zum Kaffee durch Fireship-Videos.
    • Starke Empfehlung — sehr hochwertige Zusammenfassungen mit kaum Clickbait.

  • Andrej Karpathys Vorlesungen haben mir enorm geholfen.
    Sie sind auch auf YouTube verfügbar (https://www.youtube.com/@AndrejKarpathy).
    Obwohl ich selbst Forschende im Machine Learning betreue und unterstütze, fühle ich mich, wenn ich Andrej zuhöre, wie ein Student, der überhaupt nichts weiß.
    Anfangs war das seltsam, aber inzwischen ist genau diese Demut für mich ein enorm wertvoller Gewinn.
    Dieses Gefühl von „Ich weiß gar nichts“ ist wirklich wichtig.
 
makers 2025-07-22

seufz Viel zu schlecht lesbar.
 
reagea0 2025-07-23

Wenn Sie das in diesem Ausmaß für unleserlich halten, liegt das vermutlich nicht am Haupttext.
 
harris 2025-07-28

Da stimme ich zu.
 
supermaxi 2025-07-22

Eine Art des Schreibens, die in diesem Moment unverzichtbar ist.