overthinker1127 10 일 전 | übergeordneter Kommentar | in: Ich codiere seit einigen Monaten von Hand (miguelconner.substack.com)

Ich bin eher nach der Nutzung von AI Agents zu nvim gewechselt.
Es ist viel angenehmer, den Sourcecode in nvim anzusehen..

 

Sehe ich genauso. Kerndaten aus hochspezialisierten Domänen wie Luft- und Raumfahrt, Medizin oder Präzisionsregelung liegen strikt in abgeschotteten internen Netzen; Zugriff bekommt man nur als zentraler Insider oder extern allenfalls mit erheblichem Kostenaufwand und nach Unterzeichnung einer NDA. Die meisten Daten, mit denen AI lernt, sind im Internet öffentlich verfügbar, und bei Python- bzw. JavaScript-basierten Web-/App-Services ist Full Automation bis zu einem gewissen Grad möglich.
Da die in hochentwickelten Domänen verwendeten 3D-Grafiken und CAD-basierten Algorithmen im Internet nur fragmentarisch verstreut oder gar nicht vorhanden sind, kann auch AI mit Vibe Coding letztlich nur oberflächliche Ergebnisse erzeugen. Ich halte es für einen sicheren und realistischen Ansatz, einen Main Agent zu haben und den Domänenkontext fortlaufend auf dem Niveau von Mikromanagement einzuspeisen, sodass nicht als vollständige Automatisierung, die der Entwickler nicht selbst führt, entwickelt wird, sondern als kontinuierliche Verstärkung im Planning → Redirection → Review-Zyklus unter direkter Führung des Entwicklers.

 

Wenn ich Entwickler sehe, die gedankenlos Vibe-Coding betreiben, könnte ich ausrasten. Wenn die Qualität ihrer eigenen Ergebnisse miserabel ist, sollen sie sich nur mal damit herausreden, dass die KI es geschrieben hat. Die Verantwortung tragen sie selbst.

 

Wer arbeitet besser, ein schwarzer Ochse oder ein gelber Ochse?

Der Ochse, der beschimpft wird, arbeitet besser.

 

Ich habe das Gefühl, dass immer mit einer ähnlichen Logik dagegengehalten wird ... Ein Taschenrechner rechnet nicht falsch. Er erfüllt seine Aufgabe ordentlich.

 

Danke. Der Token-Verbrauch von Claude ist auch hoch, und mit der Arbeit bin ich im Vergleich zu Codex etwas unzufrieden, daher arbeite ich in letzter Zeit häufiger mit Codex.

 

Vielen Dank fürs Teilen der hilfreichen Informationen. Grundsätzlich habe ich das Gefühl, dass der Tokenverbrauch selbst schon deutlich geringer geworden ist, daher wäre es schön, wenn Claude ihn wieder erhöhen würde. Da der Harness zwischendurch abbricht ...

 

Deshalb verwende ich bei Fragen, die Objektivität erfordern, einen Prompt, der anweist, in drei Teilen zu antworten: „Zustimmung/Kritik/Synthese“.

 

Ich stimme dieser Meinung ebenfalls zu.
Letztlich halte ich es für ein Werkzeug mit klaren Trade-offs.
Ich mache mir zwar auch Sorgen, dass die Programmierfähigkeiten mit zunehmender Nutzung von AI nachlassen könnten, aber es ist ebenso klar, dass man sich dadurch mit anderen Fragen beschäftigt, die man früher nicht gestellt hat (oder nicht stellen konnte).

 

Wir nutzen es im Unternehmen dafür, verschiedene Alarme (über 100 pro Tag kommen über Slack) regelmäßig zusammenzufassen, wichtige Dinge automatisch zu melden und dabei die zuständigen Personen zu taggen. (Testweise lassen wir es für einen Teil der Infrastruktur auch schon mit einer DevOps-Rolle laufen.)

Anfangs war ich ziemlich zufrieden, aber mit den Upgrades wurden die Sicherheitsanforderungen verschärft, und zunehmend wirkt es, als wäre das Ding dümmer geworden T_T .. Pro Tag gehen aktuell ungefähr 100 Dollar für Bedrock-Tokens drauf..

 

id
name
displayName
email
active
admin
guest
timezone
createdAt
updatedAt
lastSeen

Es heißt, dass auch Daten sowie API-Schlüssel wie npm-Token oder GitHub-Token offengelegt wurden. Offenbar sind bereits Datenhändler aufgetaucht.

 

Die Grundlage dieses Zusammenbruchs ist die mathematische Grenze der „Softmax-Normalisierung“, dem Herzstück der Transformer-Architektur. Unter dem Attention-Mechanismus folgt die Summe der Aufmerksamkeitsgewichte aller Tokens notwendigerweise einer Nullsummenverteilung, bei der sie 1 ergeben muss. Daher konvergiert das einem bestimmten Schlüsseltoken zuweisbare Informationsgewicht mit der geometrischen Erweiterung der Länge N der Eingabesequenz zwangsläufig gegen 1/N und wird rechnerisch verwässert. Das bedeutet mehr als nur eine einfache Ineffizienz der Berechnung; es bedeutet, dass der vom Modell zu verarbeitende „Noise Floor“ sprunghaft ansteigt.

Das ist doch wohl nicht euer Ernst..

 

Das ist ein inhaltsarmer Text, der nur Argumente auflistet und weder entscheidende Belege für die Behauptungen noch direkte Experimente liefert.

So etwas wie eine langweilige Fortsetzung von Yann LeCuns Aussagen wie „Selbst bei GPT-5000 wird das Modell nicht lernen, dass ein Gegenstand auf dem Tisch mitgeschoben wird, wenn man den Tisch schiebt“ oder „Autoregressive Modelle kollabieren zwangsläufig, je länger die Sequenz wird, weil sich Fehler aufsummieren“ ...

Offen gesagt frage ich mich, ob das nicht einfach ein Upload zur viralen Vermarktung der am Ende des Whitepapers erwähnten Firma ist.

 

Das erinnert mich an einen Witz, den ich vor Kurzem gesehen habe
Ich habe den Code erst per Hand geschrieben und dann die AI gebeten, ihn zu verbessern
Phase 1: Müllcode löschen
stand da, hahaha

 

Das ist natürlich nicht nur aufs Programmieren beschränkt. Wünschenswerte Schwierigkeiten sind nicht bloß eine abgedroschene Parole, sondern beruhen auf verschiedenen wissenschaftlichen Erkenntnissen.

 

Manchmal mache ich mir Sorgen, dass eines Tages ein Taschenrechner kaputtgeht, 3 X 3 = 10 ausgibt und niemand merkt, dass das falsch ist ... Wenn das auf dem Computer des Programmierers passiert, der mein Bankkonto verwaltet ... Vorsicht kann wohl nicht schaden.

 

Ich habe auch in meinem eigenen Fachgebiet noch das Gefühl, nicht ausreichend zu sein. Deshalb gehe ich vorsichtig davon aus, dass es in den Bereichen, in denen ich mir helfen lasse, ungefähr auf diesem Niveau sein wird. Da die Entwicklungsgeschwindigkeit allerdings ziemlich hoch ist, versuche ich es stattdessen bei Aufgaben einzusetzen, bei denen eine Qualität auf diesem Niveau weiterhin ausreicht.

 

Einen Taschenrechner zu haben und trotzdem das kleine Einmaleins auswendig zu lernen, wirkt wie eine Fixierung auf frühere Arbeitsweisen. Solche Dinge wird der Taschenrechner ohnehin besser können. Wichtig ist jetzt die Erfahrung, beim Einsatz des Taschenrechners die Teile zu verbessern, die noch nicht gut funktionieren. Aber auch das halte ich nur für vorübergehend.

 

Ich denke, das ist letztlich nur der schon lange geführte Diskurs über Neuro-Symbolic. Es gab einmal eine Zeit, in der man „deterministisch“ noch deutlich mehr Bedeutung beimaß als heute. Doch als sich die Leistung so weit verbessert hat, dass probabilistische Modelle auf ein deterministisches Niveau angenähert werden konnten, verschwand viel Raum für Debatten. Am Ende wollten wir nie wirklich etwas Deterministisches, sondern vielmehr eine „akzeptable“ Unsicherheit. In diesem Sinne muss man dem Determinismus zumindest aus der Perspektive der „Industrie“ und nicht der Wissenschaft vielleicht nicht allzu viel Bedeutung beimessen. Selbst wenn die Integration erst voranschreitet, sobald die Unsicherheit der heutigen generativen Modelle stagniert, ist das überhaupt nicht zu spät.