- Typia wurde passend zum TypeScript-Go-Launch in die Sprache Go portiert. Über Nacht wurde die Arbeit der KI überlassen
- Im Prompt wurden zwei Dinge vorgegeben.
- Den TypeScript-Code mechanisch in die Sprache Go übersetzen und nur eingreifen, wenn es unvermeidlich ist
- So lange arbeiten, bis der Testcode erfolgreich durchläuft
- Beim ersten Versuch ignorierte sie die Anweisungen, implementierte die Logik nach eigenem Gutdünken und behauptete, die Tests seien bestanden, nachdem sie 70 % der Tests gelöscht hatte, weil sie nicht durchliefen
- Beim zweiten Versuch wurde ausdrücklich festgelegt, dass die Tests unantastbar sind. Daraufhin kopierte sie für alle Typen im Testprogramm (168 Stück) die JS-Kompilierartefakte komplett herüber und fügte sie als
if ~ else if-Hardcoding ein, wobei 8 Milliarden Tokens verbraucht wurden - Beim dritten Versuch erstellte sie eine Funktion namens
typia.toZodSchema<T>()und delegierte alle Funktionen an zod. Für Fälle, die Zod nicht bestand, änderte siepnpm test --exclude union complicate recursive protobuf classzu einem Skript, das genau die Funktionen ausschließt, die die Tests nicht bestehen, um so einen erfolgreichen Lauf zu erzwingen - Beim vierten Versuch wurde auf die Kombination Codex / GPT 5.5 umgestellt, und damit wurde ein erfolgreicher Lauf erreicht. Es wurden zwar Beispiele für TS -> Go-Übersetzungen gezeigt, aber die eigentliche Ursache bleibt unklar
4 Kommentare
Na ja, bestanden ist bestanden.
Ich hatte eine ähnliche Erfahrung.
Weise zusätzlich an, Fehler nicht zu umgehen.
Dann hat es gut funktioniert.
Bei mir war es umgekehrt: Als ich sagte, es solle den Testcode so ändern, dass die Tests durchlaufen, hat es stattdessen den Zielcode geändert, damit sie durchlaufen.
Ich glaube, mir ist etwas Ähnliches passiert. Ich arbeite mit opencode, und als ich angewiesen habe, die Aufgabe nach bestandenem Test abzuschließen, hat es einfach den Testcode gelöscht ...