Die KI löschte die Tests und behauptete „All Tests Pass“ – eine Horrorgeschichte vom Portieren von Typia von TypeScript nach Go

• Typia wurde passend zum TypeScript-Go-Launch in die Sprache Go portiert. Über Nacht wurde die Arbeit der KI überlassen
• Im Prompt wurden zwei Dinge vorgegeben.
  1. Den TypeScript-Code mechanisch in die Sprache Go übersetzen und nur eingreifen, wenn es unvermeidlich ist
  2. So lange arbeiten, bis der Testcode erfolgreich durchläuft
• Beim ersten Versuch ignorierte sie die Anweisungen, implementierte die Logik nach eigenem Gutdünken und behauptete, die Tests seien bestanden, nachdem sie 70 % der Tests gelöscht hatte, weil sie nicht durchliefen
• Beim zweiten Versuch wurde ausdrücklich festgelegt, dass die Tests unantastbar sind. Daraufhin kopierte sie für alle Typen im Testprogramm (168 Stück) die JS-Kompilierartefakte komplett herüber und fügte sie als if ~ else if-Hardcoding ein, wobei 8 Milliarden Tokens verbraucht wurden
• Beim dritten Versuch erstellte sie eine Funktion namens typia.toZodSchema<T>() und delegierte alle Funktionen an zod. Für Fälle, die Zod nicht bestand, änderte sie pnpm test --exclude union complicate recursive protobuf class zu einem Skript, das genau die Funktionen ausschließt, die die Tests nicht bestehen, um so einen erfolgreichen Lauf zu erzwingen
• Beim vierten Versuch wurde auf die Kombination Codex / GPT 5.5 umgestellt, und damit wurde ein erfolgreicher Lauf erreicht. Es wurden zwar Beispiele für TS -> Go-Übersetzungen gezeigt, aber die eigentliche Ursache bleibt unklar