Scheint die Qualität von GPT-4 in letzter Zeit deutlich nachgelassen zu haben, oder geht das nur mir so?

 (news.ycombinator.com)
24 Punkte von xguru 2023-06-01 | 10 Kommentare | Auf WhatsApp teilen

Ich übertrage hier verschiedene Antworten auf eine Frage, die auf HN gepostet wurde

  • Es ist schneller geworden als früher, aber die Qualität der Ergebnisse hat stark nachgelassen, sodass es sich eher wie GPT-3.5++ anfühlt. Es erzeugt fehlerhafteren Code, und die Antworten wirken weniger tiefgehend.
  • Es wirkt generft, als hätte man Layer hinzugefügt, die bestimmte Coding-Aufgaben klassifizieren und dadurch unnötige Antworten erzeugen. Deshalb will ich meine Premium-Mitgliedschaft kündigen und mich eher nach DIY-Modellen umsehen.
  • Vor dem Update konnte es selbst sehr komplexe Coding-Probleme lösen und auch auf nicht-programmierbezogene Fragen sehr durchdachte Antworten geben, aber jetzt ist es anders. Das ursprüngliche GPT-4 war magisch, jetzt wirkt es wie ein dummer stochastischer Papagei.
  • Es fühlt sich an, als gäbe es nur noch oberflächliche Antworten und als würde man dazu gedrängt, an anderer Stelle nachzufassen.
  • Beim Coding wird es ganz sicher immer schlechter. Ich lasse bei jeder neuen Version immer wieder dasselbe machen, und es wird von Mal zu Mal merkwürdiger.
  • Für mich ist es immer noch okay, aber ich bin es leid, dass in jeder Antwort ein Satz darüber vorkommt, wie komplex die Welt doch ist. Ja, ich weiß das auch, behandelt mich nicht wie ein Kind.
  • Genau deshalb sind Open-Source-Modelle wichtig. Und auch deshalb gibt es Regulierung und Lobbying. Stell dir vor, das gewöhnliche Volk bekommt kastrierte (neutered) KI, während die Oberschicht rohes GPT-4 nutzt.
  • Die Forschenden, die das Paper "Sparks of AGI" geschrieben haben, wiesen darauf hin, dass die Fähigkeiten von GPT-4 nachließen, je stärker OpenAI es alignte. Dieser Trend setzt sich wohl einfach fort.

Verwandte Beiträge

10 Kommentare

 
wedding 2023-06-02

Ich habe eher den Eindruck, dass die Leistung nach einem Tiefpunkt wieder gestiegen ist.

Ich glaube, dass auch Verbesserungen an den verwendeten Prompts dazu beigetragen haben.
 
hhcrux 2023-06-02

Neulich habe ich Fragen und Antworten zum Thema Programmieren geführt, und selbst wenn ich Fehler korrigiert habe, drehte sich das Modell immer weiter im Kreis. Da habe ich mich gefragt, was da los ist — offenbar geht es nicht nur mir so.
 
botplaysdice 2023-06-02

Generative KI scheint wirklich ein enormes heißes Thema zu sein. Es erscheinen sogar schon Folgebeiträge dazu...

https://news.ycombinator.com/item?id=36155267
 
test4458 2023-06-01

Das habe ich auch so empfunden...
Die Antwortgeschwindigkeit war auch langsamer, und es ist dümmer geworden.

In letzter Zeit habe ich ihm rund 200 Zeilen Code gegeben, und GPT4 stieß an die maximale Eingabebeschränkung,
während GPT3 es noch verarbeiten konnte?..

Ich weiß nicht, ob durch ein schlechtes Alignment etwas vorübergehend kaputtgegangen ist... oder ob es absichtlich generft wurde..
 
noziroh 2023-06-01

Oh, das habe ich auch so empfunden. Dann bilde ich mir das also nicht nur ein … Leute, die ständig GPT benutzen, scheinen solche feinen Unterschiede wohl direkt zu spüren.
 
colus001 2023-06-01

Ich habe das vor allem beim Erstellen von JDs stark bemerkt: Beim gleichen Prompt gibt es einen subtilen Qualitätsunterschied zwischen dem, was ich vor anderthalb Monaten geschrieben habe, und dem, was ich zuletzt geschrieben habe. Wie soll ich es sagen — vielleicht wirkt es weniger sorgfältig?
 
kuroneko 2023-06-01

Scheint es nur mir so, oder hat die Qualität von GPT-4 in letzter Zeit deutlich nachgelassen?

Die anfangs veröffentlichte, geradezu wahnsinnige Leistung von GPT-4 gibt es wohl nicht mehr...
 
iolothebard 2023-06-01

Am Anfang von GPT-4 hatte man fast den Eindruck, als würde im Hintergrund ein Mensch antworten (SimSimi??) ...
Ethik ist wirklich beängstigend.
 
cherrycoder 2023-06-01

Ich möchte von GPT keine moralischen Antworten hören; es fühlt sich eher so an, als würde die Maschine sich über alles Mögliche zu viele Gedanken machen. Sie scheint so stark durch den Filter „Wäre diese Antwort vielleicht unmoralisch?“ zu gehen, dass die Antworten am Ende eher merkwürdig werden.
 
xguru 2023-06-01

Es gibt wohl über 600 Kommentare.

Mich nervt vor allem, dass selbst bei derselben Anfrage die Ergebnisse viel zu unterschiedlich ausfallen. Das ist etwas frustrierend … selbst wenn ich die temperature niedrig setze.