Großflächige Störung bei ChatGPT und der API

 (status.openai.com)
3 Punkte von GN⁺ 2023-11-09 | 2 Kommentare | Auf WhatsApp teilen
  • Zwischen 5:42 und 7:16 Uhr PT am 8. November schlug ein erheblicher Teil der Anfragen über ChatGPT und die API von OpenAI hinweg mit 502- oder 503-Fehlern fehl; alle Modelle und API-Endpunkte waren betroffen
  • Knoten der Routing-Schicht erreichten ihr Speicherlimit und bestanden Readiness-Checks nicht mehr; als genügend Knoten unavailable waren, reichte die Kapazität nicht mehr aus, um den eingehenden Traffic zu verarbeiten
  • Am selben Morgen stieg die Zahl der Completion-Anfragen stärker als an jedem vorherigen Tag, was zum Tipping Point wurde, an dem das bestehende Speicherproblem zu einem serviceweiten Ausfall eskalierte
  • Die Wiederherstellung erfolgte schrittweise durch Begrenzung des eingehenden Traffics, eine groß angelegte Neuverteilung des Dienstes und anschließende Wiederaufnahme des Traffics; nach einer Korrektur zur Wiederverwendung von responseBuffer verbesserten sich Speicher- und CPU-Nutzung um den Faktor 3
  • OpenAI hat Speicherlimits angepasst, lastabhängige Abwehr per Rate Limits und zusätzliche Kapazität umgesetzt und plant, Speicher-Alerts sowie eine Konfiguration für Auto Scaling hinzuzufügen

Umfang der Störung und unmittelbare Ursache

  • Zwischen 5:42 und 7:16 Uhr PT am 8. November schlug ein erheblicher Teil der OpenAI-Anfragen mit 502- oder 503-Fehlern fehl
  • Während der Störung kam es bei allen Modellen und API-Endpunkten zu deutlich erhöhten Fehlerraten
  • Die unmittelbare Ursache war, dass Knoten der Routing-Schicht ihr Speicherlimit erreichten und Readiness-Checks nicht mehr bestanden
    • Eine ausreichende Anzahl von Knoten innerhalb des Dienstes ging in den Zustand unavailable
    • Es blieb nicht genug Kapazität, um den eingehenden Traffic zu verarbeiten
    • Der Dienst konnte sich nicht selbstständig erholen
  • An diesem Morgen gab es deutlich mehr Completion-Anfragen als an jedem vorherigen Tag; dies wirkte als Tipping Point, der die Störung auslöste

Wiederherstellungsmaßnahmen und Vermeidung einer Wiederholung

  • Die unmittelbare Reaktion bestand darin, drei Maßnahmen parallel umzusetzen
    • Eingehenden Traffic begrenzen
    • Den Dienst großflächig neu deployen
    • Den Traffic langsam wieder hochfahren
  • Die Grundursache des chronischen Speicherproblems lag darin, dass responseBuffer innerhalb einer Schleife nicht wiederverwendet, sondern fortlaufend neu alloziert wurde
    • Bei vielen Anfragen geriet die GC dadurch ins Hintertreffen
    • Die Korrektur bestand darin, den Buffer vorab zu allozieren und wiederzuverwenden
    • Nach dem Deployment verbesserten sich sowohl Speicher- als auch CPU-Nutzung um den Faktor 3
  • Bereits umgesetzte zusätzliche Maßnahmen:
    • Die konfigurierten Speicherlimits wurden auf ein angemessenes Niveau angepasst, wodurch der Dienst erheblichen Headroom erhielt
    • Rate Limit Controls wurden implementiert, um Traffic sanfter zu drosseln
    • Als zusätzliche Vorsichtsmaßnahme wurde die Service-Kapazität erhöht
  • Künftige Änderungen:
    • Änderungen an Alerts werden implementiert, um Speicherverhalten zu erkennen, bevor es zu einem Serviceproblem eskaliert
    • In der Vergangenheit konnte Auto Scaling für diesen Dienst nicht aktiviert werden, weil zusätzliche Kapazität negative Auswirkungen auf einen upstream service haben konnte
    • Da dieses Grundproblem behoben wurde, wird OpenAI für diesen Dienst Auto Scaling konfigurieren
  • Längere API-Ausfälle wirken sich auf Kundenprodukte und -geschäfte aus; Störungen dieser Größenordnung können besonders schädlich sein

Verwandte Beiträge

2 Kommentare

 
xguru 2023-11-09

Anscheinend hat sich wegen dieser Entwicklerveranstaltung einiges an Traffic angesammelt.
Sicher ist jedenfalls, dass sich die Ausgabe von GPT-4 Turbo deutlich verändert hat.
Auch bei der GN+-Zusammenfassung hat sich das Format verändert, obwohl ich den Prompt fast gar nicht angepasst habe.
 
GN⁺ 2023-11-09
Meinungen auf Hacker News

  • Da ChatGPT down war, habe ich heute zum ersten Mal Google Bard ausprobiert, und ehrlich gesagt war es ziemlich okay.
    Es hat einen subtil anderen Tonfall als ChatGPT, der schwer zu beschreiben ist.

    • Mir wird Bard oft empfohlen, aber fast jedes Mal liefert es falsche oder missverständliche Informationen zurück.
    • Bard hat andere Trainingsdaten und Trainingsmethoden, allein damit lässt sich bis zu einem gewissen Grad verstehen, warum es sich von ChatGPT unterscheidet.
      Aus Nutzersicht unterscheiden sich die Methoden, mit denen man die gewünschte Antwort herauskitzelt, und auch Fragestellung oder Prompt Engineering müssen anders sein.
    • Aus demselben Grund habe ich es heute zum ersten Mal ausprobiert, aber es war langsamer und beim Coding deutlich schwächer.
      Ich hatte nur nach einer SQL-Aggregationsabfrage gefragt, aber es hat einfach Teile der Query-Anforderungen ignoriert.
    • Bard hat ziemlich aggressive Filter.
      Selbst beim Brainstorming von Ideen für Diebe in einer Fantasy-Welt, etwa in einer Stimmung wie bei Lies of Locke Lamora, verweigert es häufig die Zusammenarbeit.
      Es scheint vor der Ausgabe an den Nutzer irgendeinen heuristischen Filter über die Antwort laufen zu lassen, und wenn man den Prompt leicht ändert, kommt sie manchmal durch.
      Bei ChatGPT ist das System intelligent genug, um zu erkennen, dass Fantasy-Verbrechen keine Informationen zur Durchführung realer Verbrechen sind.
    • Ich habe https://you.com/chat ausprobiert, und es war nicht schlecht.
      Für das GPT4-Modell gibt es einen Gutschein für einen kostenlosen Probemonat: "codegpt"; GPT3.5 ist kostenlos.

  • Phind ist fürs Coding ziemlich gut und, da es auf LLama 2 basiert und mit zig Milliarden zusätzlichen Code-Tokens trainiert wurde, noch am Leben: https://www.phind.com/s

    • Ich frage mich, wie Leute Phind verwenden.
      Kürzlich habe ich direkt mit Phind gesprochen, und es meinte, um mir helfen zu können, müsse es meine Codebasis einlesen, damit es die Modelle versteht, von denen ich spreche.
      Wenn es die Codebasis nicht kennt, kann es meiner Ansicht nach außer den trivialsten Funktionen nichts richtig schreiben.
      Phind antwortete auch, dass das stimme, sagte aber, dass es die Codebasis tatsächlich nicht einlesen könne.
      Es klang ziemlich schlüssig und wirkte so, als würde es verstehen, was ich sage.
      Wenn es nicht helfen kann, sobald eine Funktion nicht-triviale Klassen als Parameter annimmt oder zurückgibt, verstehe ich nicht, wo genau der Wert liegen soll.
    • Ich habe mit Phind viele gute Ergebnisse erzielt.
      Das neueste Fine-Tuning-Modell V7 fühlte sich gut an und war besser als die meisten Open-Source-Modelle.
      Allerdings steht am Ende des Links ein s, weshalb er einen 404 liefert.
    • Phind hatte ein paar Konsistenzprobleme, aber insgesamt habe ich keine großen Beschwerden.
      Gelegentlich gab es kleine Macken, etwa dass bei großen Prompts keine Antwort kam oder Antwortoptionen verschwanden.
      Insgesamt eignet es sich gut, um zusammen mit ChatGPT Ideen auszutauschen oder andere Perspektiven zu bekommen.
      Auch die Annotationsfunktion, die die Websites anzeigt, aus denen die Informationen stammen, ist sehr gut gemacht.
    • Phind scheint ebenfalls down zu sein.
      "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
    • Gerade ausprobiert: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
      Meiner Ansicht nach ist das komplett halluziniert. Gut ist, dass Dokumentationslinks angehängt werden.
      Edit: Nachdem ich astrojs durch vite ersetzt habe, kam eine sehr gute und präzise Antwort heraus: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
      Ziemlich beeindruckend.

  • Wow, mir ist wirklich der kalte Schweiß ausgebrochen.
    Wir hatten den Großteil unserer Dienste etwa 48 Stunden vor dem Launch gerade auf Azure OpenAI umgezogen, waren von diesem Ausfall aber nicht betroffen.
    Was für eine Erleichterung.

    • Interessant. Heißt das, Azure OpenAI war nicht betroffen?
      Ich frage mich, ob es OpenAI-API- und Systemupdates zur gleichen Zeit bekommt und ob die Preise gleich sind.

  • Jetzt ist wohl ein guter Zeitpunkt, darauf hinzuweisen, dass HuggingFace mehrere Open-Source-Chat-Modelle hostet.
    Eines meiner persönlichen Lieblingsmodelle ist eine Fine-Tuning-Version von Mistral 7B: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

    • Ich hatte früher ein wenig mit lokalen Large Language Models experimentiert, aber damals kein Modell gefunden, das klein genug und gut genug war, um auf einer 3080 Ti zu laufen.
      Dieses Modell ist klein genug, um gerade noch mit brauchbarer Geschwindigkeit zu laufen, schafft etwas mehr als 1 Token pro Sekunde und wirkt bisher fast auf GPT3.5-Niveau.
    • Wenn es kostenlos ist, frage ich mich, wie sie Geld verdienen.

  • Ich wollte gerade sagen, dass das Bards Chance wäre zu glänzen, aber Bard scheint ebenfalls ausgefallen zu sein.

    • Ich bin hin, um Bard auszuprobieren, und der Bildschirm war aufgeräumt und die UI wirklich gut.
      Auch die Antworten sahen gut strukturiert und ansprechend aus.
      Wenn nur die KI so gut wäre wie die von OpenAI.
    • Ich sollte wohl meinen Aluhut bereitlegen. Das kann kein Zufall sein :D
    • Es zeigt "Something went wrong. Sorry, Bard is still experimental" an.
      Sieht so aus, als hätte es seine Chance vertan.
    • Bard ist immer noch viel zu ängstlich und noch nicht einmal ein internationaler Dienst.
    • Sie scheinen angefangen zu haben, miteinander zu reden.

  • Gemessen an den plötzlich still gewordenen Vielrednern ist jetzt der perfekte Zeitpunkt, HN-Kommentare zu scrapen, um zu sehen, wer HN-Kommentare mit ChatGPT geschrieben hat.

    • Hehe. Als Large Language Model bin ich der Meinung, dass andere Menschen diesem Menschen nicht folgen sollten ;)

  • Habe die Störung bemerkt
    Es fühlt sich so an, als würden viele Leute ChatGPT wie Stützräder am Fahrrad benutzen und dann vergessen, wie man ohne Stützräder fährt

    • Wenn man bei der Analogie bleibt, wirkt es eher wie Krücken als wie Stützräder
      Wenn man ohne sie nicht fahren kann, hat man gar nichts trainiert
    • Eher so ein Gefühl
      Man baut ein klassisches Motorrad, jemand schlägt einen E-Bike-Motor vor, und weil man noch nicht einmal einen Verbrennungsmotor hat, denkt man: Nehmen wir den, um Demo oder Markteinführung vorzuziehen, und tauschen ihn später gegen einen richtigen Motor aus
      Doch wenn man gerade den Lenker fertigstellt, wurde der E-Bike-Motor schon viermal aktualisiert und ist besser als jeder Verbrennungsmotor. Dann gibt es keinen Grund mehr, ihn überhaupt auszutauschen
      Bis man am Markt ankommt, wurde der Motor noch mehrfach aktualisiert, fährt vollständig autonom und kann vielleicht sogar fliegen
      Außerdem ist er sogar zur Selbstreplikation fähig geworden, sodass die Käufer einen vielleicht gar nicht mehr brauchen

  • Jetzt werden Millionen von Junior-Entwicklern Handbücher lesen müssen
    Ein großer Tag

    • Erstaunlich, wie abrupt und vollständig der Wechsel zu ChatGPT und die Abhängigkeit davon waren
      Das sind die letzten Tage unseres Berufs, also genießen wir sie
    • Handbücher zu lesen ist etwas für Dinosaurier; heute muss man googeln

  • Habe heute Bard ausprobiert, ist deutlich besser geworden

    • Hoffentlich
      Ich bin immer noch erstaunt über Bards Probleme
      Letzten Monat hat es bei irgendeiner Tatsache gelogen und dann, als ich genauer nachfragte, behauptet, eine E-Mail geschickt zu haben
      Danach entschuldigte es sich und sagte, es habe die E-Mail in Wirklichkeit nicht geschickt und „gewusst“, dass es das gar nicht kann
      Wie ein Freund, der nicht sagen kann: „Ich weiß es nicht“, und stattdessen lügt
      Ich hatte gefragt, ob es in der Statue „Christ the King“ in Lissabon jemals einen Markt gegeben habe, weil ich ein Gerücht überprüfen wollte, das ich von einem Einheimischen gehört hatte
      Tatsächlich gab es keinen, aber Bard glaubte, es habe einen gegeben

  • Zum Glück hat OpenAI kein Service Level Agreement: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

    • Ich sage das als großer GPT-Fan, aber es ist erstaunlich, wie schlecht OpenAI als Unternehmen ist und wie schnell wir trotzdem auf diese schreckliche Plattform aufgesprungen sind
      Vor 9 Monaten hatte ich in einem neuen Job einen Bug, durch den ich mich nicht in das OpenAI-Konto für die Arbeit einloggen konnte
      Es dauerte 6 Monate, bis sie auf meine Supportanfrage antworteten, und ich bekam eine allgemeine Copy-&-paste-Antwort, die überhaupt nichts mit meinem Problem zu tun hatte
      Wir gaben enorme Summen aus, konnten aber keine Antwort bekommen und niemanden finden, den man ans Telefon bekam
      Am Ende musste ich Kollegen bitten, alle Keys für mich zu erstellen
      Dann, etwa 8 Monate später, funktionierte es eines Tages plötzlich ohne erkennbaren Grund wieder
      Kurz danach wechselten wir zu Azure OpenAI Service, weil die OpenAI-Plattform für den Einsatz in einem ernsthaften Unternehmen einfach katastrophal schlecht war