Vibe Coding – Vibe Coding
(x.com/karpathy)- Andrej Karpathy bezeichnet Vibe Coding als eine neue Art des Programmierens, bei der LLMs gut genug geworden sind, dass man den Code selbst kaum noch bewusst wahrnimmt
- Er kombiniert Cursor Composer mit Sonnet und die Spracheingabe SuperWhisper und nutzt die Tastatur fast gar nicht mehr, sondern vermittelt Anforderungen per Sprache
- Selbst kleine Wünsche wie das Halbieren des Paddings überlässt er dem Modell, ohne selbst danach zu suchen, und klickt Accept All, ohne den Diff zu lesen
- Fehlermeldungen kopiert er ohne Erklärung hinein; wenn das LLM einen Bug nicht beheben kann, umgeht er ihn oder lässt wiederholt beliebige Änderungen vornehmen, bis das Problem verschwindet
- Für einmalige Wochenendprojekte ist das brauchbar, aber der Code kann über den eigenen Verständnisbereich hinaus anwachsen, sodass es eher einem Ablauf aus Zuschauen, Sprechen, Ausführen und Einfügen ähnelt als klassischem Coding
Die Arbeitsweise des „Vibe Coding“
- Vibe Coding ist eine Arbeitsweise, bei der man sich vollständig auf das LLM verlässt und die Existenz des Codes fast vergisst
- Als Tool-Beispiel nennt er Cursor Composer with Sonnet, für Spracheingabe nutzt er SuperWhisper
- Statt Code selbst zu suchen oder zu ändern, wiederholt er eher folgenden Ablauf
- Die nötige Änderung auf dem Bildschirm erkennen
- Sie dem Composer per Sprache mitteilen
- Das Ergebnis ausführen
- Fehlermeldungen kopieren und einfügen
- Diffs liest er nicht mehr und klickt immer Accept All
- Wenn der Code über das übliche eigene Verständnisniveau hinaus anwächst, entsteht ein Zustand, in dem man den Code eine Zeit lang lesen müsste, um ihn wirklich zu verstehen
Grenzen und Beispiele
- Es kommt auch vor, dass das LLM einen Bug nicht beheben kann
- Dann umgeht er den Bug
- Oder er fordert weiter beliebige Änderungen an, bis das Problem verschwindet
- Er bewertet diese Methode für throwaway weekend projects als nicht schlecht
- Mit etwa einer Stunde Vibe Coding hat er auch ein Battleship-Spiel gebaut
- Dabei kämpfen zwei beliebige, vom Nutzer ausgewählte LLM-Modelle in Echtzeit gegeneinander
- Starke Statistiken gibt es noch nicht, aber er sagt, dass 4o offenbar gegen 4o-mini gewinnt
2 Kommentare
Meinungen auf Hacker News
Ich habe es selbst ausprobiert, und es ist ziemlich gut, aber vor Halluzinationen muss man definitiv aufpassen.
Zum Beispiel habe ich es einen 500-Wörter-Bericht über mich schreiben lassen, und es enthielt mindestens drei Fehler. Es behauptete, meine Stack-Overflow-Reputation liege bei 47.000 Punkten, verwechselte aber tatsächlich die „47k erreichten Personen“ in meinem Profil mit meiner Reputation von 525 Punkten. Außerdem zitierte es mich so, als hätte ich eine Antwort zu PHP-Monkey-Patching gegeben; tatsächlich hatte ich vor 15 Jahren eine Frage gestellt, und die Antwort stammte von jemand anderem. Schließlich war auch das zitierte Interview nicht von mir, sondern ein Interview mit meinem Bruder, mit dem ich das Unternehmen gegründet habe.
Als Ausgangspunkt ist es brauchbar, aber die Ergebnisse muss man unbedingt über die Quellenlinks verifizieren.
Wenn der schwierige Teil das Formulieren ist, ist es vermutlich schneller, selbst zu recherchieren und eine Gliederung zu schreiben und das große Sprachmodell diese dann in fertige Sätze umwandeln zu lassen. Allerdings beweist man damit letztlich, dass der Prosastil der weniger wertvolle Teil der Arbeit ist; als jemand mit Abschluss in englischer Literatur schmerzt das, aber es stimmt im Großen und Ganzen.
Es gibt Anbieter, die Produkte viel früher herausbringen, als es ihrer Fähigkeit entspricht, sie wirklich ordentlich zu veröffentlichen, und ich bin mir nicht sicher, ob ihre rechtliche Absicherung so solide ist. Ausgaben, die durch eine Datenbank unterstützt werden, können und sollten solche falschen Erinnerungen jedoch stark begrenzen. Man braucht eine lineare Verifikation wie bei Menschen: erst Ideen hervorbringen, dann mit Daten abgleichen; das ist Due Diligence und Teil des Schlussfolgerungsprozesses. Es wirkt, als würden Bewegungen in eine andere Richtung als die Weiterentwicklung des Kernprodukts die Forschung und Entwicklung durcheinanderbringen, fast wie eine Form von Aufschieberei.
Wenn man „Deep Research“ sagt, liest sich das letztlich so, als gehöre dazu auch, die richtige Antwort zu treffen.
Inzwischen sehen viele schon eine Quote komplett falscher Antworten von nur 10 % als etwas, das das Vertrauen in jede Interaktion massiv untergräbt, egal ob die Antwort offensichtlich falsch oder selbstwidersprüchlich ist. Abgesehen davon, bereits Bekanntes erneut zu bestätigen, ist das Sprachmodell in Wirklichkeit nicht groß genug, um alles zu wissen; es klingt nur so, als wüsste es alles.
Was ich will, ist nicht einfach eine richtige Antwort, sondern eine richtige Antwort, die schneller ist als meine eigene Recherchezeit und auch schneller als die Zeit, die ich brauche, um die Antwort der Maschine zu überprüfen. Einen Schüler ein Aufgabenblatt lösen zu lassen, dessen Antworten man kennt, ist etwas völlig anderes, als einer Antwort auf eine Frage vertrauen zu müssen, deren Antwort man selbst nicht kennt.
Für gelegentlichen Einsatz hier und da sind sie nützlich, aber nicht so nützlich wie das Geld, das hineinfließt. Für die Unternehmen, die dieses Geld bekommen, sind sie natürlich nützlich. Das ist ein Beispiel, bei dem man von echter KI erwarten würde, dass sie es allein lösen kann, aber aktuelle große Sprachmodelle scheitern kläglich: https://x.com/RadishHarmers/status/1885884032220643587
Wenn es kein Bereich ist, in dem Fehler oder Halluzinationen akzeptabel sind, muss die Zeit, die ein Mensch zum Überprüfen der Lösung braucht, exponentiell kürzer sein als die Zeit, die die KI zum Finden braucht, damit es einen echten Nutzen gibt.
Es wird nicht die Lösung für alle Probleme sein, aber es ist ähnlich wie bei vielen Engineering-Problemen. Ein ORM ist zum Beispiel nicht für jede Query gut, aber für einen erheblichen Teil ausreichend.
Das fühlt sich beängstigend an. Selbst wenn man die Probleme mit Halluzinationen und Fehlern einräumt, ist es sehr wahrscheinlich, dass echte Nutzer das ignorieren und die Ausgabe in ihre PowerPoint-Präsentationen übernehmen.
Management Consulting war ohnehin schon schlimm genug, aber wenn man Diagramme und Statistiken nach Belieben massenhaft erzeugen kann, wird es noch schlimmer. Früher gab es immerhin noch ein gewisses Verständnis im Hintergrund, woher die Zahlen kamen, und man konnte auch Quellen angeben.
Je leistungsfähiger solche Tools werden, desto häufiger wird der Effekt auftreten, dass diese Ergebnisse überall einsickern.
Große Sprachmodelle sorgen dafür, dass Menschen gegen solche Inhalte mit geringem Informationswert immun werden. Leute, die Ergebnisse auf LLM-Niveau liefern, stehen jetzt unter dem Verdacht, ein LLM benutzt zu haben, und können nicht mehr so leicht so tun, als würden sie Mehrwert schaffen. In der Folge wird von Beratern höhere Qualität verlangt, und diejenigen, die statt präziser, aufschlussreicher und kontextgerechter Informationen nur weitschweifiges Gerede produzieren, werden ausgesiebt.
Gemini hatte seit ein oder zwei Monaten ebenfalls Deep Research unter demselben Namen: https://blog.google/products/gemini/google-gemini-deep-resea...
Als Meta-Frage frage ich mich, warum es in der KI-Branche so viele Namensüberschneidungen gibt. Mir fallen Triton (Nvidia, OpenAI) oder Gro{k,q} (X.ai, groq, OpenAI) ein.
Wörter, die man für PR braucht, deren tatsächliche Bedeutung man aber nicht erreicht, werden umdefiniert. „grok“ ist ein perfektes Beispiel: In dem ursprünglichen SF-Buch bedeutete es „vollständiges Verstehen“. Der mythische Triton herrschte über die Tiefsee, also wurde das direkt für den „Deep Learning“-Sales-Pitch übernommen.
Wenn man es selbst versucht, merkt man, dass es ziemlich schwer ist, große Sprachmodelle dazu zu bringen, wirklich in die Tiefe zu gehen. OpenAIs Deep Research fühlt sich wie eines der ersten Beispiele dafür an, wie ein großes Labor das hinbekommen kann. Der schwierige Teil ist normalerweise nicht der „Agent“ selbst, sondern das Modell dazu zu zwingen, nicht zu vergessen, tiefer einzusteigen.
Ich weiß nicht, ob ihr es bemerkt habt, aber diese Funktion scheint von einem unveröffentlichten o3-Modell angetrieben zu werden. Das passt dazu, warum sie in Benchmarks deutlich vorne liegt, und auch zu der Behauptung, o3 sei für einen öffentlichen Launch zu teuer. Es wirkt wie ein beeindruckendes Modell, das Google, DeepSeek und Perplexity voraus ist.
Wenn o3 für die breite Öffentlichkeit zu teuer ist, warum sollte man es dann in einem Tool einsetzen, das für eine Frage Hunderte Inferenzaufrufe braucht? Man würde ein deutlich günstigeres Modell nehmen. Wahrscheinlich war es o3-mini oder o1-mini, kombiniert mit o4-mini für manche Aufgaben.
Beim Zusammenfassen der endgültigen Antwort oder beim Auswählen zwischen widersprüchlichen Quellen könnte o3 im Vorteil sein, aber bis zu diesem Punkt sind sehr viele Schritte nötig.
Für Leute in der Wissenschaft ist das tatsächlich ein interessantes Tool. Ich würde es gern ausprobieren, kann mir derzeit aber keine 200 Dollar im Monat leisten.
Es wäre schön, wenn jemand es mit folgendem Prompt testen könnte: Als wissenschaftlicher Mitarbeiter für Teilchenphysik soll es eine technische Zusammenfassung erstellen, die CERNs Future Circular Collider (FCC), den International Linear Collider (ILC), den Compact Linear Collider (CLIC), verschiedene Muon-Collider-Vorschläge sowie die wichtigsten Pläne für Teilchenbeschleuniger der nächsten Generation mit Stand 2024 vergleicht – nach Energiebereich, Kollisionsart, Zeitplan, technischen Vor- und Nachteilen, Kosten, physikalischen Zielen, Design Reports, internationaler Zusammenarbeit, Kosten-Nutzen-Verhältnis, Entdeckungspotenzial, Infrastruktur, Umweltauswirkungen und Upgrade-Pfaden.
Die Originalausgabe war zu lang, um sie vollständig auf HN zu posten; sie hatte die Form eines Berichts, der FCC, ILC, CLIC, Muon Collider, CEPC/SppC usw. in Tabellen und mit Quellen nach geplanter Energie, Kollisionsmethode, Zeitplan, Kosten, technischen Herausforderungen, physikalischen Zielen, internationaler Unterstützung, Umweltauswirkungen und langfristigen Upgrade-Pfaden verglich.
Ich bezweifle, dass diese Fähigkeit wirklich eine Voraussetzung für AGI und ASI ist.
Schlussfolgern, Problemlösung und Forschungsvalidierung sind im Kern alle eher Formen von verfeinertem Denken. Forschung ist ein Bereich, in dem ich ihrer Bedeutung weiterhin skeptisch gegenüberstehe, weil gültige Belege nicht aus sauber formulierten Antworten entstehen, sondern aus Ausführungsergebnissen.
Selbst wenn man zum Beispiel im Internet noch so gründlich nach dem besten Staubsauger recherchiert, steckt man bis zum eigenen Ausprobieren zwischen Marketing, Fake Reviews und Influencern fest. Wissenschaftliche Bereiche könnten durch ihre Trockenheit ein Stück weit vor solchen Problemen geschützt sein, aber es ist beängstigend, sich vorzustellen, dass ein Pharmaunternehmen das Internet mit maßgeschneiderten Blogbeiträgen voller anspruchsvoll wirkender medizinischer „Forschungsergebnisse“ fluten und so die gewünschte Anmutung von Fachliteratur erzeugen könnte. Irgendwann könnte man dem Internet überhaupt nicht mehr trauen, und dieser Zeitpunkt könnte bald kommen.
Durch die Explosion generierten Textes dürfte der Wert von Recherche wegen der enormen Menge an Informationsmüll stark sinken. Vielleicht bleibt sie als Tätigkeit aus der Zeit zurück, als das Internet noch „echt“ war.
Ich habe früher nach Artikeln mit echten Messungen gesucht, um zu vergleichen, wie sich Hydroflask, Klean Kanteen und Thermos bei heißen/kalten Getränken unterscheiden. Die meisten Google-Suchergebnisse waren aber allgemeine Vergleiche ohne harte Daten. Trotzdem wurden Artikel wie „Hydroflask ist besser für warme Getränke“ weit oben angezeigt.
Entscheidend ist, ob dieses Tool solche Artikel ignorieren und nur Beiträge mit echten Experimenten verwenden kann, und ob es duplizierte Ergebnisse herausfiltern kann, bei denen mehrere Blogger ein Experiment einer einzelnen Person immer wieder zitieren.
Eine AGI könnte solche Aufgaben erledigen, und je größer das Venn-Diagramm solcher Fähigkeiten wird, desto stärker kann man eingrenzen, was der grundlegende Mechanismus von AGI sein könnte. Moravec beschrieb das Bild einer Landschaft menschlicher Fähigkeiten, die langsam von KI-Fähigkeiten überflutet wird; wir werden wissen, dass wir echte allgemeine KI erreicht haben, wenn KI alles, was Menschen können, tatsächlich oder zumindest prinzipiell leisten kann. Deep Research ist nur eine weitere Insel, die in dieser Flut untergeht.
Wenn ich die Grafik richtig verstehe, liegt die Bestehensquote in internen Tests offenbar nur bei 20%. Heißt das dann, dass man 30 Minuten wartet, viel Geld bezahlt und sich am Ende durch eine lange Textwand arbeiten muss, die mit hoher Wahrscheinlichkeit größtenteils falsch ist?
Wenn die Wahrscheinlichkeit von Halluzinationen nicht vernachlässigbar ist, ist das zu viel Material, um es auf einmal zu prüfen. Der Prozess müsste wohl viel iterativer sein.
Das sind also keine gewöhnlichen Anfragen, sondern eher Probleme aus einem Mathematik-Benchmark am Stand der Forschung.
In Fällen wie echter Forschung, bei denen die Vorarbeit umfangreicher ist als das Endergebnis, könnte das konzeptionell gut passen. Wenn man die Benchmarks grob anschaut, scheint es möglich, dass sie gegen Jahresende über 50% pro Anfrage kommen, und es wirkt, als verdopple sich das alle ein bis zwei Modellgenerationen.
In der Blogosphäre gibt es in engen Fachgebieten bekannte Expertinnen und Experten oder Personen, die in ihrem Bereich einen Namen haben, und es gibt noch viel mehr Leute, die nützliche Beiträge schreiben. Zumindest schreiben sie in dem Sinne, dass sie wollen, dass andere Menschen sie lesen.
Wenn aber alle Leser Bots werden, frage ich mich, ob sie weiter schreiben werden. Es fühlt sich an, als rücke das tote Internet näher.
Trotzdem ist es als Autor attraktiv, zu einer Wissenswelt beizutragen, auf die Menschen leicht zugreifen können, wenn sie schreiben wollen. Man muss sich nicht mehr mühsam durch Paper quälen, deren Titel nur irgendwie relevant wirkt, und es ist auch okay, wenn andere meine Arbeit nicht mühsam lesen müssen.
Ich frage mich, ob tatsächlich schon jemand Zugriff auf diese Funktion hat. Auf der Website steht, sie sei ab heute für Pro-Nutzer verfügbar, aber selbst mit Pro über ein Firmenkonto sehe ich im Nachrichteneditor keine Deep-Research-Option.
Wenn man ein beliebiges Modell öffnet, erscheint im Eingabefeld neben der Websuche-Option das Tag
(Deep research). Ich habe weder den Cache geleert noch sonst etwas gemacht.Hacker-News-Kommentare
Jedes Jahr denke ich, dass die Qualitätsstandards für Software nicht noch weiter sinken können, und jedes Mal merke ich, dass ich falschliege
Auch ich habe Spaß an dieser Art von kleinen Projekten
Wenn ich diesen Ansatz sehe, fühlt es sich an, als würde ein „Essens-und-Coden-Mensch“ einfach ein Ergebnis einreichen
Ich mache mir Sorgen, dass die Fähigkeit, schwierige Probleme zu lösen, verkümmert, wenn man so mit dem Coden anfängt
Inzwischen gibt es immer mehr AI-native Entwickler, die von Anfang an auf diese Weise lernen
Tools wie ein „WYSIWYG, das sich per natürlicher Sprache anpassen lässt“ scheinen eine steile Schwierigkeitsklippe zu haben, ähnlich wie die Grenzen von RAD-Tools
Manche sagen, man sollte so nicht lernen, aber ich finde, wichtig ist das richtige Verhältnis von Aufwand und Fertigstellungsgrad
Für CSS reicht Vibe Coding meiner Meinung nach völlig aus