Prognosen brauchen Fehlerspannen

Warum Fehlerbereiche in Kriminalanalysen und Kriminalitätsprognosen nötig sind

• Betonung, dass Kriminalitätsprognosen Fehlerbereiche enthalten sollten
• Richard Rosenfeld diskutiert in einem aktuellen Beitrag für Kriminologen nationale Kriminalitätsprognosen
• Zwar gibt es Unzufriedenheit darüber, dass das FBI Kriminalstatistiken mit einem Jahr Verzögerung veröffentlicht, doch die Wissenschaft liefert ihre „Prognosen“ noch später

Analyse mit dem ARIMA-Modell

• Analyse in Python, wie ein sinnvoller Prognosefehler bei Verwendung eines ARIMA-Modells aussieht
• Daten und Code werden auf GitHub bereitgestellt
• Kurze Erläuterung zum Laden der Daten und Importieren der Bibliotheken sowie zur korrekten Einrichtung des Datenformats

Vorbereitung des Model-Fittings

• Anpassung eines ARIMA(1,1,2)-Modells unter ähnlichen Bedingungen wie in Richards Arbeit
• Beschreibung und Vergleich mit Richards Modell sowie Bereitstellung der Modellausgabe

Prognose und Fehlerbereiche

• Verwendung des statsmodels-Pakets, um neue Daten hinzuzufügen und eine Ein-Schritt-Vorhersage durchzuführen
• Darstellung von Prognoseergebnissen, die zeigen, dass der Standardfehler der Vorhersage mit der Zeit zunimmt

Vergleich mit Richards Schätzungen

• Berechnung des MAPE (Mean Absolute Percentage Error) für jedes Modell im Vergleich zu Richards Prognosewerten
• Darstellung von Prognoseintervallen und Hervorhebung, dass die beobachteten Werte weiterhin mit dem geschätzten Modell übereinstimmen

Abschließende Punkte

• Argument, dass es nicht entscheidend ist, wenn Richard bei makroökonomischen Kriminalitätsprognosen weiterhin große Fehler macht
• Argument, dass Kriminalitätsprognosen auf nationaler Ebene keine hilfreichen politischen Reaktionen ermöglichen
• Als Beispiel für eine praktische Anwendung von Kriminalitätsprognosen wird gezeigt, wie sich der zusätzliche Bedarf an Polizeikräften durch Stadtwachstum vorhersagen lässt

Meinung von GN⁺

Der wichtigste Punkt dieses Artikels ist die Betonung der Bedeutung von Fehlerbereichen in Kriminalitätsprognosen und der Notwendigkeit, Unsicherheit in Vorhersagen anzuerkennen. Auch wenn Kriminalitätsprognosen möglicherweise nicht direkt für politische Entscheidungen nützlich sind, kann Prognosemodellierung ein wichtiges Werkzeug sein, um die Gültigkeit kriminologischer Theorien zu überprüfen. Der Artikel bietet interessante Einblicke für Menschen an der Schnittstelle von Data Science und Kriminologie und liefert eine fundierte Diskussion über die Grenzen von Prognosemodellen und Wege, diese zu überwinden.

[GN⁺]

Hacker-News-Kommentar

• Zusammenhang zwischen Prognosen und Entscheidungen

  • Prognosen sollten im Allgemeinen zu Entscheidungen führen.
  • Wenn Prognosen von Entscheidungen getrennt werden, wird ihr Wert unklar.
  • Rosenfeld versucht, Prognosen zu nutzen, um statistischen Schlussfolgerungen aus vergangenen Daten mehr Gewicht zu verleihen, aber das erscheint fragwürdig.

• Bedeutung von Fehlerbalken

  • Die Bedeutung von Fehlerbalken ist nicht eindeutig.
  • Die eine ist ein Konfidenzintervall (das Modell gibt mit 95% Wahrscheinlichkeit an, dass die Ausgabe innerhalb dieses Bereichs liegt).
  • Die andere ist die Standardabweichung (eine Vorhersage der quadrierten Differenz zwischen der eigenen Prognose und dem Ergebnis).

• Wichtigkeit von Fehlerbalken

  • Fehlerbalken ermöglichen ein besseres Verständnis beim Vergleich der Vorteile neuer Behandlungen.
  • Manche denken, dass dies das Problem nur verwirrt.
  • Sinnvolle Fehlerbalken zu erhalten, ist in manchen Fällen sehr schwierig.

• Betrachtung statistischer Verteilungen

  • Histogramme (statistische Verteilungen) wichtiger Kennzahlen werden regelmäßig betrachtet.
  • Bei Problemen mit der Geschwindigkeit von Webservice-Aufrufen traten zwei klare Peaks auf.
  • Die beiden Peaks, die ausgeloggte und eingeloggte Nutzer repräsentierten, ermöglichten ein tieferes Verständnis der Ursache des Problems.

• Fehlerbalken für Datumsschätzungen

  • Auch Datumsschätzungen (also Deadlines) sollten Fehlerbalken haben.
  • Ein Datum ist eine Prognose und ohne eine Schätzung der Unsicherheit bedeutungslos.

• Bedeutung der Quantifizierung von Unsicherheit

  • In Data Science und besonders im Machine Learning wird die Quantifizierung von Unsicherheit oft übersehen.
  • Praktiker haben nicht immer einen statistischen Hintergrund.

• Vergleich von Prognose und Messung

  • Eine Prognose kann als Messung der Zukunft betrachtet werden.
  • Jede Messung ohne Wissen über Unsicherheit ist bedeutungslos.

• Missverständnis zum Wetter

  • Zunächst dachte ich, dieser Beitrag handle vom Wetter.

• Prognosen der Gegenwart oder Vergangenheit, also Nowcasting

  • Die Kunst, die Gegenwart oder Vergangenheit vorherzusagen, während man auf Daten wartet.
  • Ohne Fehlerspanne ist das ungenaue Wissenschaft/Statistik.

• Nützliche Prognosen auch ohne Fehlerbalken

  • Manchmal reicht schon eine einfache Punktprognose aus, um Handlungen zu steuern.
  • Das vollständige Wissen über die Prognoseverteilung kann helfen, gute Entscheidungen zu treffen.

• Vorteile der Gauß-Prozess-Regression

  • Gauß-Prozess-Regression (oder Kriging) hat große Vorteile.

• Notwendigkeit von Konfidenz-/Prognose-/Toleranzintervallen für alle Schätzungen/Prognosen/Vorhersagen/Interpolationen/Extrapolationen

  • Es sollte Konfidenz-/Prognose-/Toleranzintervalle geben, die die Annahmen enthalten, die das Team in das Problem einbringt.