KI behindert die Einführung neuer Technologien

 (vale.rocks)
10 Punkte von GN⁺ 2025-02-15 | 4 Kommentare | Auf WhatsApp teilen
  • Während KI-Modelle in Entwickler-Workflows integriert werden, fördern oder behindern sie die Nutzung bestimmter Technologien
  • Da große Sprachmodelle Antworten liefern, die auf bestimmte Technologien verzerrt sind, entsteht die Tendenz, bevorzugt Technologien einzuführen, die sich leicht durch KI unterstützen lassen
  • Schon bisher wurden oft Werkzeuge mit guter Dokumentation und starkem Support ausgewählt, doch problematisch ist, dass KI diesen Entscheidungsfaktor übermäßig verstärkt

Wissenslücke

  • Große Sprachmodelle werden mit riesigen Datensätzen und über lange Trainingszeiträume trainiert, weshalb sie zum Zeitpunkt ihrer Veröffentlichung oft bereits veraltetes Wissen enthalten
  • Bei neuen Technologien, die nach dem Training-Cutoff erschienen sind, kann KI keine angemessene Hilfe leisten
  • Beispiel: Wichtige Modelle von Anthropic, OpenAI usw. haben einen Wissens-Cutoff ungefähr aus den Jahren 2023 bis 2024
  • Wegen dieser Wissenslücke erleben Menschen, die neue Technologien nutzen möchten, Unannehmlichkeiten durch fehlende KI-Unterstützung, was wiederum deren Einführung verzögert
  • Technologien mit bestehendem Marktanteil haben bereits engagierte Nutzergemeinschaften, wodurch sich Material ansammelt; bei vollständig neuen Technologien gibt es dagegen von vornherein weniger Dokumentation oder Blogbeiträge, sodass sie schwerer ins Modelltraining einfließen
  • Auch wenn KI teilweise Internetanbindung bietet, muss diese oft explizit angefordert werden oder ist gar nicht vorhanden
  • Mangelnde KI-Unterstützung für neue Technologien → weniger Nutzer und weniger Material → zu wenig Trainingsdaten für Modelle → erneut mangelnde KI-Unterstützung: Ein solcher Teufelskreis ist möglich
  • Wenn ein Entwickler ein aktuelles JavaScript-Framework verwenden will und dabei Hilfe von KI sucht, das Modell aber keine ausreichende Anleitung geben kann, steigt der Anreiz, sich für alte Dokumentation oder vertraute Werkzeuge zu entscheiden

Einfluss von System-Prompts

  • Einige KI-Modelle wie Claude zeigen häufig eine Vorliebe für React und Tailwind
  • Beispiel: Selbst wenn Claude angewiesen wird, „vanilla HTML/CSS/JS zu verwenden“, schlägt es React-Code vor oder versucht, bestehenden Code in React umzuschreiben
  • In den System-Prompts einiger Modelle (oder in nicht offengelegten funktionsspezifischen Prompts) werden bestimmte Bibliotheken oder Werkzeuge wie React, Tailwind oder Mermaid ausdrücklich genannt
  • In realen Gesprächsbeispielen zeigte sich, dass das Modell bei der Bitte um die Nutzung von Svelte Runes eine React-Alternative vorschlug und den Nutzer dadurch faktisch dazu lenkte, React leicht zu akzeptieren
  • Da Nutzer meist den einfachsten Lösungsweg (Path of least resistance) wählen, haben die von KI präsentierten Standardoptionen großen Einfluss auf die Technologiewahl

Test

  • Es wurde ein einfacher Test durchgeführt, um zu prüfen, ob KI-Modelle bei der Bitte, eine neue Web-App zu erstellen, React empfehlen
    • Anthropic Claude 3.5 Sonnet: In allen drei Versuchen wurde ein Beispielprojekt mit React + Tailwind erstellt
    • OpenAI ChatGPT 4o: In allen drei Versuchen wurde eine App mit React + Tailwind erstellt und über die Canvas-Funktion eine Vorschau gezeigt
    • Google Gemini 2.0 Flash: In allen drei Versuchen wurden vanilla HTML/CSS/JS verwendet, gleichzeitig aber React, Angular und Vue empfohlen
    • DeepSeek-V3: Es wurden verschiedene Kombinationen wie vanilla HTML/CSS/JS oder Node.js, Express.js, MongoDB und Bootstrap vorgeschlagen. Allerdings eher als Projektübersicht denn als konkreter Code
  • Das Ergebnis: Claude und ChatGPT bevorzugen sehr stark React + Tailwind; Gemini bevorzugt HTML/CSS/JS, empfiehlt aber ebenfalls React; DeepSeek zeigt die größte technische Streuung, ist bei der Ausgabequalität jedoch stärker auf Übersichten fokussiert

Rückblick

  • Einsteiger oder Menschen, die Apps nur per Prompt erstellen, übernehmen Ergebnisse von ChatGPT und ähnlichen Tools mit hoher Wahrscheinlichkeit unverändert
  • Selbst wenn ein anderes Framework gewählt wird, kann das Modell durch interne Regeln wie System-Prompts weiter in Richtung React lenken
  • Es kann eine Stimmung entstehen, in der bevorzugt Technologien gewählt werden, die bereits als gut mit KI kompatibel gelten; das behindert die Verbreitung neuer oder weniger verbreiteter Technologien
  • Die Verzerrung großer Sprachmodelle wirkt demnach in Richtung einer längeren Lebensdauer aktuell populärer Technologien und erhöht die Markteintrittsbarrieren für neue Technologien
  • Es wird vorgeschlagen, dass KI-Unternehmen Informationen über die technologischen Verzerrungen ihrer Modelle ausdrücklich offenlegen sollten
  • Für künftige Forschung könnte man etwa die zeitliche Entwicklung von System-Prompts mit bestimmten Technologien und die Entwicklung von Paket-Downloads vergleichen, um Korrelationen zu finden. Allerdings dürfte es wegen vieler Variablen viel Rauschen geben

[Anmerkung 1] Die „beliebtesten KI-Chat-Plattformen“ beruhen auf der subjektiven Beobachtung des Autors
[Anmerkung 2] Claude und ChatGPT beeinflussen besonders stark Entwickleranfänger oder neue Nutzer, weil sie mit den Funktionen artifact bzw. canvas leicht und unmittelbar nutzbare Ergebnisse liefern

Verwandte Beiträge

4 Kommentare

 
iolothebard 2025-04-02

Die Polarisierung zwischen Arm und Reich verschwindet…
Wenn man ein neues Produkt entwickelt, muss man zumindest auch einen MCP-Server dazu bauen…
 
bbulbum 2025-02-17

Paradoxerweise scheint mir, dass der Aufbau der Fähigkeit zum selbstständigen Lernen der Weg ist, die eigene Wettbewerbsfähigkeit im Zeitalter der KI zu stärken.
 
aer0700 2025-02-15

Gilt das nicht auch für Stack Overflow?
 
GN⁺ 2025-02-15
Hacker-News-Kommentare

  • KI behindert die Einführung neuer Technologien nicht

    • Es dauert eine Weile, bis sich Menschen an neue Technologien oder Versions-Upgrades gewöhnen
    • Das ist so, als würde man sagen, dass Stack Overflow die Einführung neuer Technologien behindert
    • LLMs werden aus kommerziellen Gründen regelmäßig neu trainiert
    • Early Adopters verlassen sich nicht auf LLMs

  • In der OpenAI-Codex-Arbeit vorhergesagte Punkte

    • Nutzer übernehmen mit höherer Wahrscheinlichkeit die Antworten von Codex, unter der Annahme, dass die von Codex vorgeschlagenen Pakete nützlicher sind
    • Möglicherweise fehlt das Bewusstsein für neue Pakete
    • Für bestehende Pakete könnten veraltete Methoden vorgeschlagen werden
    • Open-Source-Entwickler könnten einen stärkeren Anreiz haben, Abwärtskompatibilität beizubehalten

  • Meinung, dass neue Technologien Müll sind, der Daten und Gehälter aufsaugt

    • Menschen empfinden Müdigkeit gegenüber neuen Technologien
    • Man sollte etwas Neues vorschlagen, das nicht Daten und Gehälter aufsaugt

  • Meinung, dass man eine Technologie verwenden sollte, wenn ein LLM sie ausdrücklich nennt

    • Wenn keine Technologie genannt wird, sollte man die Technologiewahl klären und nachfragen
    • Ein LLM sollte keine durch die Prompt-Struktur des Anbieters festgelegten Präferenzen haben
    • Es braucht Arbeit, um Verzerrungen wie zugunsten von React zu vermeiden
    • Bedenken gegenüber Anthropic, das Investitionen von Technologieunternehmen erhält
    • Es könnte entscheiden können, ob LLMs Empfehlungen von AWS, Azure, GCP usw. erhalten dürfen

  • Meinung, dass LLMs für Sprachen wie Elm nützlich sein werden

    • Einsatz zusammen mit Agenten, die in einer Evaluierungsschleife arbeiten können

  • Geteilte Erfahrungen mit der Verwendung von matplotlib für Datenvisualisierung

    • KI funktioniert so gut, dass man Änderungen an Diagrammen ohne Code anfordern kann
    • Es fühlt sich an, als würde sich die Tür zu Neuem schließen
    • Weitere Beispiele wie Emacs Lisp

  • Frage nach dem Einfluss von LLMs auf die Einführung neuer Frameworks und Technologien

    • Auf Fragen zu React bekommt man gute Antworten, bei neuen Frameworks jedoch nicht
    • Da sich immer mehr Entwickler auf KI-Tools verlassen, könnte die Einführung neuer Technologien schwieriger werden

  • Problem mit den Präferenzen von Claude 3.5 Sonnet bei der Codegenerierung

    • Tendenz, Code in React zu erzeugen oder bestehenden Code in React umzuwandeln

  • Beispiel für Entwickler, die moderne JavaScript-Frameworks verwenden

    • KI-Tools können keine sinnvollen Anleitungen geben
    • Eine Welt, in der Django und React als naheliegende Wahl gelten, ermöglicht billigere Web-App-Entwicklung

  • Beispiel für den von Anthropic vorangetriebenen MCP-Standard

    • Bereitstellung langer Texte/MD, optimiert dafür, dass Claude das Protokoll verstehen kann
    • Nützlich für das Bootstrap neuer Plugins/Server
    • Ein erst wenige Monate alter Standard hat bereits Hunderte von Implementierungen