Anomaly Detection mit SQL

 (hakibenita.com)
12 Punkte von xguru 2020-09-26 | 2 Kommentare | Auf WhatsApp teilen

Einfache Anomalieerkennung nur mit Statistik auf Oberstufenniveau und SQL-Kenntnissen

  • Durchschnitt und Standardabweichung berechnen und Ausreißer außerhalb des Bereichs finden

  • Mit dem Z-Wert (Standardwert) finden, den Z-Wert optimieren

Nginx-Logs analysieren und Ausreißer finden

  • Plötzliche Anstiege bei den Statuscodes 500/400/404/200 erkennen

  • Eine Tabelle erstellen, die jede Minute die Anzahl der Statuscodes speichert, und in diesen Daten mit Durchschnitt/Standardabweichung Anomalien erkennen

  • Wiederholte Benachrichtigungen entfernen

Verwandte Beiträge

2 Kommentare

 
xguru 2020-09-26

Bei einem großen Service könnte man zwar verschiedene Tools einsetzen, aber so erklärt macht es Lust, das einmal selbst auszuprobieren.
 
galadbran 2020-09-26

Wow, die Zusammenfassung ist auch wirklich gut gemacht, da bekommt man direkt Lust, es selbst auszuprobieren ...