Rückblick auf drei aktuelle Probleme bei Claude

Zusammenfassung von drei kürzlich aufgetretenen Problemen (Ursachen und Lösungen)

1. Fehler beim Routing des Kontextfensters (Context Window Routing Error)

• Ursache: Einige Anfragen an das Sonnet-4-Modell wurden fälschlicherweise an Server weitergeleitet, die für ein größeres Kontextfenster von 1M Tokens konfiguriert waren. Eine Änderung beim Load Balancing am 29. August verschärfte das Problem zusätzlich.
• Lösung: Die Routing-Logik wurde korrigiert, damit Anfragen an den richtigen Server-Pool weitergeleitet werden; die Änderung wurde im September ausgerollt.

2. Beschädigte Ausgabe (Output Corruption)

• Ursache: Eine Fehlkonfiguration der Claude-API-TPU-Server führte während der Token-Generierung zu Fehlern, wodurch in Antworten unerwartete Zeichen erschienen. Betroffen waren mehrere Claude-Modelle.
• Lösung: Die fehlkonfigurierte Änderung wurde am 2. September identifiziert und per Rollback behoben.

3. Fehlkompilierung von "approximate top-k" ("approximate top-k" miscompilation)

• Ursache: Eine Codeänderung zur Verbesserung der Token-Auswahl löste einen möglichen Bug im XLA:TPU-Compiler aus, der Claude Haiku 3.5 und weitere Modelle betraf.
• Lösung: Die Änderung wurde zurückgerollt und gemeinsam mit dem XLA:TPU-Team wurde der Compiler-Bug behoben. Zusätzlich wurde für die Token-Auswahl auf die Operation "exact top-k" umgestellt.