Über Datenqualität – Grundprinzipien

Daten haben keine angeborene Qualität; je größer der Wert ist, den Daten in einem bestimmten Anwendungsfall erzeugen, desto höher kann ihre Qualität eingeschätzt werden.

Datenqualität besteht aus vier Ebenen: Qualität einzelner Daten, Qualität des gesamten Korpus, Eignung für den Zweck und Qualität der Geschäftsergebnisse. Die unteren Ebenen ermöglichen die oberen, und die oberen Ebenen liefern den Grund, in die unteren zu investieren.

Selbst exakte Umsatzdaten können für die Buchhaltung geeignet, für das Echtzeit-Management oder die Prognose künftiger Umsätze aber ungeeignet sein. Die Qualitätsbewertung derselben Daten variiert also je nach Nutzer und Zweck.

Wer sich nur auf die Prüfung von Eigenschaften konzentriert, kann perfekte Daten erzeugen und trotzdem keinen geschäftlichen Wert schaffen. Wer umgekehrt nur Ergebnissen nachjagt und die grundlegende Qualität ignoriert, kann ein nicht nachhaltiges System aufbauen.

Datenqualitätsmanagement darf sich nicht auf das Bereinigen von Daten beschränken, sondern muss auch das Messen des Pfads Datenverwendung → Veränderung von Entscheidungen → Geschäftsergebnis umfassen und Investitionen anhand der Resultate anpassen.

Warum Standarddefinitionen nicht ausreichen

ISO 8000 definiert qualitativ gute Daten als Daten, die festgelegte Anforderungen erfüllen. Das ist zwar korrekt, hilft in der Praxis aber wenig, weil es sich um eine zirkuläre Definition handelt.

ISO 25012 definiert Datenqualität über 15 Eigenschaften, darunter Genauigkeit, Vollständigkeit und Konsistenz.

Das ist nützlich, um den Zustand einzelner Daten zu prüfen, behandelt aber nicht, ob diese Daten tatsächlich zum realen Einsatzzweck und zu Geschäftsergebnissen beitragen.

Dass verschiedene Praktiker dieselben Daten unterschiedlich bewerten, liegt daran, dass sie nach unterschiedlichen Qualitätsebenen und Verwendungszwecken urteilen.

Datenqualität entsteht aus Datenwert

Daten haben keinen inneren Wert; ihr Wert wird dadurch bestimmt, was man mit ihnen tun kann.

Die Logik aus
So bepreist man Daten-Assets
lässt sich auch auf Qualität anwenden.

Datenqualität ist eine Eigenschaft, die den Wert von Daten erhöht.

Da der Datenwert eine Funktion der Art ihrer Nutzung ist, wird auch Datenqualität durch die Art der Nutzung bestimmt.

Das Ziel höherer Qualität ist, mit Daten mehr tun zu können, dieselben Dinge besser, schneller und günstiger zu tun oder Dinge zu ermöglichen, die zuvor nicht möglich waren.

1. Ebene: Qualität einzelner Daten

Die Qualität auf Detailebene (granular quality) bewertet einzelne Dateneinheiten wie Datenbankeinträge, Sätze, Frage-Antwort-Paare oder gelabelte Beispiele.

Zu den wichtigsten Bewertungseigenschaften gehören Genauigkeit, Präzision, Aktualität, Formateignung, interne Konsistenz, Plausibilität, Herkunft, Interpretierbarkeit und Verlässlichkeit.

Jede dieser Eigenschaften kann auf Basis der einzelnen Einheit bewertet werden, ohne andere Datensätze betrachten zu müssen.

Allerdings setzt jede Bewertung den Nutzungskontext voraus.

Woran wird Wahrheit gemessen?

Welcher Zeitpunkt ist der Maßstab für Aktualität?

In welcher Form ist etwas nutzbar?

In welchem Kontext ist etwas konsistent?

Das muss jeweils definiert werden.

Die Einzelqualität von Umsatzdaten

Wer Vertragsbedingungen, Verlängerungen, Rabatte sowie einmalige und wiederkehrende Umsätze falsch interpretiert, kann schon bei einzelnen Umsatzpositionen falschliegen.

Selbst wenn korrekt erfasst wurde, hängt es von der Geschäftsstruktur ab, ob Marktplatzumsätze brutto (gross) oder netto (net) ausgewiesen werden sollen.

Ob ein Unternehmen direkt Wert liefert, Preise festlegt und auch die Serviceverantwortung trägt

oder eher ein Vermittler ist, der Käufer und Verkäufer zusammenbringt, führt zu unterschiedlichen Beurteilungen.

Sogar Prüfer können zu verschiedenen Schlussfolgerungen kommen; auch Genauigkeit lässt sich daher nicht von Verwendungszweck und buchhalterischem Kontext trennen.

2. Ebene: Qualität des gesamten Datensatzes

Auch wenn alle einzelnen Datensätze korrekt sind, ist damit noch nicht garantiert, dass die Qualität des Gesamtkorpus (aggregate quality) hoch ist.

Auf Gesamtebene müssen folgende Eigenschaften bewertet werden:

Abdeckung und fehlende Daten

Deduplizierung

Datengranularität

Repräsentativität und Ausgewogenheit

Konsistenz zwischen Datensätzen und Labels

Verteilungen und aggregierte Statistiken

Datenmenge und Hinlänglichkeit

zeitliche Kontinuität

Kombinierbarkeit mit anderen Daten

Drift über Zeit und Raum

Diese Eigenschaften sind in einzelnen Datenpunkten nicht sichtbar, sondern zeigen sich in den Beziehungen und Verteilungen des Gesamtdatensatzes.

Man muss prüfen, ob alle Daten vorhanden sind, ausreichend bereinigt wurden, die Realität abbilden und über Zeit und Raum hinweg stabil bleiben.

Die Gesamtqualität von Umsatzdaten

Selbst wenn einzelne Umsatzereignisse korrekt erfasst wurden, können folgende Probleme bleiben:

Die Umsatzdefinition ändert sich mitten in den historischen Daten.

Ein Teil der Umsätze fehlt.

Derselbe Umsatz wird doppelt gezählt.

Unterschiedliche Aggregationsergebnisse stimmen nicht überein.

Daten, die aktuelle Kunden perfekt abbilden, können für Buchhaltung und Reporting von hoher Qualität sein; wenn sie sich aber von der künftigen Kundenzusammensetzung unterscheiden, können sie für die Prognose von Expansionsumsätzen von niedriger Qualität sein.

Die Repräsentativität eines Datensatzes sollte nicht anhand der Daten selbst, sondern anhand des Zielobjekts bewertet werden, auf das er angewendet werden soll.

3. Ebene: Eignung für den Zweck

Eignung für den Zweck (fitness for purpose) bewertet nicht primär Dateneigenschaften, sondern die Wechselwirkung zwischen Daten und realer Anwendung.

Finanzberichte eignen sich nicht für Werbekampagnen, und Kundenprofile eignen sich nicht für Aktienanalysen. Ändert man jedoch den Einsatzzweck, können sie jeweils unverzichtbare Daten werden.

Informationsbezogene Eignung

Sie bewertet, ob Daten die Frage beantworten können, die man lösen will.

Dazu gehören Relevanz, Angemessenheit, Hinlänglichkeit und Notwendigkeit.

Dass Daten korrekt sind, und dass sie die benötigte Information liefern, sind zwei verschiedene Fragen.

Operative Eignung

Sie bewertet, ob Daten in der realen Umgebung effektiv genutzt werden können.

Dazu gehören Verfügbarkeit, Lizenz- und Regulierungs-Compliance, Interoperabilität sowie das Verhältnis von Risiko zu Ertrag.

Selbst wenn die Information ausreicht, ist sie für den Zweck ungeeignet, wenn man zum benötigten Zeitpunkt nicht darauf zugreifen kann oder sie rechtlich nicht nutzen darf.

Zweckabhängige Unterschiede bei Umsatzdaten

Um Monatsendumsätze perfekt zu bestätigen, braucht selbst ein exzellentes Finanzteam mehrere Tage. Der CEO muss aber möglicherweise noch im selben Monat, in dem Umsätze von der Erwartung abweichen, über Investitionen, Kostensenkungen, Einstellungen oder Entlassungen entscheiden.

Für Prüfer hochwertige, bestätigte Umsatzzahlen können für den Echtzeitbetrieb zu spät kommen.

Auch detaillierte Finanzdaten können an den Anforderungen verschiedener Nutzer vorbeigehen.

Der Vorstand will eine Kernauswertung.

Der CMO will den Marketingbeitrag sehen.

Das Vertriebsteam will die Höhe der Provision kennen.

Details, Nuancen, Hinweise und verschiedene Analyseachsen, die die Qualität für das Finanzteam erhöhen, können für andere Nutzer die Nutzbarkeit sogar verschlechtern.

4. Ebene: Qualität der Geschäftsergebnisse

Selbst wenn Einzelqualität, Gesamtqualität und Eignung für den Zweck hervorragend sind, ist damit noch nicht garantiert, dass Daten tatsächlich geschäftlichen Wert erzeugen.

Die Qualität der Geschäftsergebnisse (business-outcome quality) bewertet, wie stark Daten die Ergebnisse eines Unternehmens verbessert haben.

Verbesserte Bewertungswerte

höhere Umsatzbindungsraten

verbesserte risikoadjustierte Renditen

oder steigende Kundenkonversionsraten können Zielgrößen sein.

Das lässt sich in drei Fragen aufteilen:

Wurden die Daten tatsächlich genutzt?

Was hat sich nach ihrer Nutzung verändert?

War diese Veränderung den Einsatz wert?

Messung von Nutzung und Ergebnis

Ob Daten genutzt wurden, misst man über Einführungsrate, Einfluss auf Entscheidungen und das Ausmaß von Verhaltensänderungen.

Veränderungen im Ergebnis werden über den Unterschied zwischen vorher und nachher, den genauen Beitrag und die Bedeutung der Veränderung bewertet.

Der Wert der Veränderung muss zudem ROI, Zeitpunkt des Ergebniseintritts, Nachhaltigkeit und Risiken berücksichtigen.

Wenn hochwertige Umsatzdaten scheitern

Selbst wenn man auf Basis genauer, unverzerrter und an Nutzerbedürfnisse angepasster Umsatzdaten das Vergütungsmodell im Vertrieb ändert, kann das erwartete Geschäftsergebnis ausbleiben.

Wenn das Vertriebsteam die neue Formel optimiert, können folgende Verhaltensweisen auftreten:

Künftige Umsätze werden vorgezogen, um beschleunigte Boni zu erhalten.

Es werden Rabatte gewährt, die die Marge beschädigen.

Statt schwieriger Verträge mit hohem langfristigem Wert werden leicht abschließbare Verträge von niedriger Qualität bevorzugt.

Die Daten selbst können auf allen unteren Ebenen von hoher Qualität sein, und dennoch können die darauf aufbauenden Regeln und Verhaltensänderungen Geschäftswert zerstören.

Auf der obersten Ebene ist daher weniger zusätzliche Datenbereinigung nötig als vielmehr Folgendes:

Den Wert, den Daten erzeugen sollen, mit besseren Hypothesen definieren.

Den Pfad von der Datennutzung zu Verhalten und Ergebnissen instrumentieren.

Investitionen je nach realen Ergebnissen reduzieren oder ausweiten.

Die Qualitätsleiter

Die vier Ebenen sind keine voneinander getrennten Checklisten, sondern eine geordnete und voneinander abhängige Leiter.

Um Eignung für den Zweck und Geschäftsergebnisse zu erreichen, muss zuerst die Qualität einzelner Daten und des Gesamtdatensatzes gegeben sein.

Umgekehrt schafft die Qualität der unteren Ebenen für sich genommen noch keinen Wert; erst die Ergebnisse der oberen Ebenen liefern den Grund für Investitionen.

Auf den unteren Ebenen muss man darauf achten, vor lauter Eigenschaftsprüfungen den geschäftlichen Anwendungsfall nicht aus dem Blick zu verlieren.

Auf den oberen Ebenen muss man darauf achten, vor lauter Ergebnisfokus die grundlegende Datenhygiene nicht zu ignorieren.

Wie bestehende Standards scheitern

Ein ISO-25012-artiger Ansatz kann in die Checklistenfalle geraten: Man misst unzählige Qualitätsmerkmale, ohne dass sich das Geschäft verbessert.

Ein ISO-8000-artiger Ansatz bleibt bei der Definition stehen, dass Daten gut sind, wenn sie gute Ergebnisse liefern, sagt aber nicht konkret, was verbessert werden muss.

Die Qualitätsleiter verbindet die umsetzbaren Prüfungen der unteren Ebenen mit der Wertbeurteilung der oberen Ebenen in einer einzigen Struktur.

Konflikte zwischen verschiedenen Ebenen

Debatten über Datenqualität entstehen oft dann, wenn Menschen aus unterschiedlichen Sprossen der Leiter sprechen.

Data Operations Engineers priorisieren exakte Labels und korrekte Datensatzzustände, obwohl diese Daten im Geschäft möglicherweise gar nicht genutzt werden.

Der CEO legt Wert auf das ideale Betriebsmodell und die Geschäftsergebnisse, obwohl dieses Modell auf Eingabedaten beruhen kann, denen man kaum vertrauen kann.

Wenn Probleme auftreten, sucht die eine Seite nach Korrekturen im Detail der Daten und die andere nach einer neuen Strategie; keine von beiden löst jedoch jedes Problem.

Drei Arten, Ebenen zu überspringen
Launch-Fehler

Dabei wird zu stark auf die unteren Ebenen fokussiert, sodass Einzelqualität, Gesamtqualität und Eignung für den Zweck perfektioniert werden, ohne dass überhaupt Geschäftswert entsteht.

Die unteren Ebenen sind konkret, messbar und direkt leicht zu verbessern, weshalb Organisationen sich am leichtesten auf sie konzentrieren.

Weil es viele messbare Punkte gibt, kann Datenpflege selbst zum Ziel werden statt realer Ergebnisse.

Fundament-Fehler

Dabei ignoriert man die unteren Ebenen und versucht, direkt auf Geschäftswert zu optimieren.

Wenn das Ziel klar ist und die Feedbackschleife schnell genug funktioniert, kann das vorübergehend funktionieren.

Ein Ansatz, nach dem Probleme bei Genauigkeit, Herkunft und Aktualität egal sind, solange das Ergebnis stimmt, ist in der Regel nicht nachhaltig; am Ende treten die Probleme der Basisdaten doch zutage.

Herkunft als Qualitätsbeleg nutzen

Eine vertrauenswürdige externe Quelle kann teilweise die Qualität einzelner Daten und des Gesamtdatensatzes mitgarantieren und so den Aufwand für interne Validierung senken.

Wählt man einen auf eine bestimmte Branche spezialisierten Anbieter, sinkt auch der Prüfaufwand für die Eignung zum Zweck.

Geschäftlicher Wert muss jedoch von der Organisation, die die Daten kauft, selbst geschaffen werden.

Vertrauen in die Datenquelle entsteht nicht automatisch.

Es bildet sich über Zeit, Ressourcen und wiederholte Ergebnisse.

Es bleibt bestehen, solange die Daten weiter funktionieren.

Wenn die erwarteten Ergebnisse ausbleiben, schwindet es schnell.

Nächste Schritte

Datenqualität ist keine absolute Eigenschaft, die in den Daten selbst existiert, sondern zeigt sich im Verwendungszweck und im Prozess der Wertschöpfung.

Wirksames Qualitätsmanagement verlangt, alle vier Ebenen zu prüfen und nicht bei nur einer davon stehenzubleiben.

Im folgenden Teil soll es darum gehen, wie KI die bisherige Intuition über Datenqualität verändert.