Diese Seite setzt Cookies ein, um das Nutzerlebnis zu verbessern. Durch Klick auf "OK" erklärst Du Dich damit einverstanden. Mehr dazu gibt es unter Datenschutz.

OK

Wer entscheidet? „Data driven“ versus „data informed“

Analytics, Business Intelligence, Big Data – Schlagworte die (zugegeben, seit Längerem) in aller Munde sind. (Seit einer Weile gesellt sich immer öfter auch noch „real time“, also „Echtzeit“ dazu.) Alles schön und gut – messen generiert für uns Informationen. Informationen auf die wir unsere Entscheidungen gründen können. Aber wer entscheidet eigentlich? Was bedeutet „data driven“ eigentlich? Und was heißt das für unsere tägliche Arbeit? Die Antwort darauf erscheint mir oftmals nicht so eindeutig, wie man meinen könnte.

Die Grundidee – inspect and adapt

Wir tun etwas, messen wie der Effekt unserer Maßnahme ist und entscheiden dann ob wir den Weg weiter gehen oder doch einen anderen einschlagen. Dazu schauen wir uns vorher definierte Kennwerte (conversion rates, click through rates, bounce rates oder auch die Velocity eines Sprints – was auch immer für unseren Fall relevant ist) vorab an und messen das Niveau auf dem sie sich befinden.

Dann nehmen wir eine Änderung vor und erwarten uns einen Effekt auf eine oder mehrere dieser Kenngrößen. Stellt sich der Effekt ein, so schließen wir, dass die gemachten Änderungen dazu geführt haben und alle sind zufrieden. Stellt sich der Effekt jedoch nicht ein, so folgern wir, dass die gemachte Änderung nichts zur Verbesserung der Werte beitragen kann.

So oder so, das Spiel beginnt dann von vorne und wir messen und ändern und verbessern(!) immer weiter. Oft wird diese Herangehensweise als „data driven“ bezeichnet – damit bin ich nicht ganz glücklich. Warum? Dazu komme ich noch im Laufe dieses Posts. Vorher muss ich jedoch noch etwas ausholen, damit klar wird, warum ich mich mit diesem Begriff nicht ganz anfreunden kann.

Nun, soweit jedenfalls die Idee hinter „inspect and adapt“. Leider geht’s für gewöhnlich nicht so glatt. Denn dieses Vorgehen setzt ein paar Dinge voraus, die leider häufiger unterwegs verloren gehen. Wenn sie denn überhaupt mal an Bord waren. Ich werde mich hier auf einige, wenige Kernpunkte konzentrieren, damit der Umfang nicht gesprengt wird. Alle zahlen auf ein Ziel ein:

Sauberer methodischer Aufbau

Bevor ein Test / Experiment / Optimierungsversuch stattfinden kann, müssen zunächst ein paar Dinge geklärt werden.

  1. Die Testhypthese – Was möchte ich eigentlich überprüfen? Warum denke ich dass die Änderung die ich vornehme überhaupt an der Stelle helfen kann? Wenn ich mir den Verbesserungsvorschlag anschaue, dann muss ich eine Idee davon haben warum dieser überhaupt geeignet ist etwas zu verbessern. Plausibilität und Konsistenz sind hier die Stichworte! Leider stellt man – meistens rückblickend – fest, dass die ein oder andere Änderung gar nicht geeignet war zu einer Verbesserung beizutragen. Man hätte sich den Aufwand sparen können.
  2. Ein Schwellenwert – Ab wann ist eine gemessene Verbesserung groß genug? Sprich: Man muss ein messbares, ein überprüfbares Ziel definieren um feststellen zu können ob ein Versuch erfolgreich war. Das muss man vorab tun. Sonst sitzt man später da und deutelt an den Daten herum anstatt eine Entscheidung zu treffen. Bzw. man lässt sich bei der Bewertung des Ergebnisses vom Ergebnis beeinflussen.
  3. Die Eintrittswahrscheinlichkeit – in vielen Business Intelligence und Statistik-Tools werden die gemessenen Daten auf verschiedene Arten und Weisen gleich auf Plausibilität, Validität, ihre Güte und so weiter getestet. Meistens ist da auch das Signifikanzniveau oder die Eintrittswahrscheinlichkeit dabei. Die Frage die man sich vor einem Versuch beantworten muss: Ab welcher Eintrittswahrscheinlichkeit setze ich die Änderung dauerhaft um? Reichen mir 10% Wahrscheinlichkeit dass sich das Ergebnis dauerhaft einstellt? (Und damit umgekehrt 90% dass es das nicht tut?) Oder sollten es schon 95% sein, damit das Risiko daneben zu liegen ausreichend gering ist? In Kombination mit dem Schwellenwert (s.o.) ist die Eintrittswahrscheinlichkeit (oder das Signifikanzniveau) zentrale Säule der Entscheidungsfindung!
  4. Wechselwirkungen zwischen einzelnen Maßnahmen, sog. „Interaktionseffekte“ – Wenn ich mehrere Änderungen auf einmal vornehme, kann ich mitunter nicht sagen welche Änderung nun den Effekt gebracht hat. Oder die Effekte beider Änderungen neutralisieren sich gegenseitig. Und wenn es ganz dumm läuft, dann wirken die Änderungen in Kombination miteinander negativ – und ich kann nicht sagen woran es lag… Man würde ja auch nicht einfach so verschiedene Medikamente mischen und einnehmen. Wer weiß wie die Inhalte zusammen wirken.

Das ist eigentlich sehr einleuchtend und banal – vielleicht wird es gerade deswegen häufig vergessen oder vernachlässigt

„Data driven“ – kann es das überhaupt geben?

Okay, die Absätze oben und die Frage nehmen es schon vorweg: ich finde nein, das kann es so nicht geben. Denn es sind nicht die Daten die eine Entscheidung treffen – können sie gar nicht. Wie denn auch? („Kommt eine Conversion Rate / ein Burndown Graph / eine Cycle Time ums Eck und …“)

Daten müssen immer interpretiert werden – sie sagen selbst nichts aus (übrigens ein Irrtum dem die Natur- und sog. „exakten“ Wissenschaften leider gerne aufgesessen sind, bzw. es teilweise noch immer tun).
Die Interpretation findet immer entlang der vorab definierten Parameter statt. Allen voran die Testhypothese – sie spiegelt den kausalen Zusammenhang wider, den wir annehmen und den wir versuchen mit Hilfe der Messung zu bestätigen. (Aus wissenschaftstheoretischer Sicht müsste es heißen wir versuchen die Hypothese zu falsifizieren – also Messergebnisse zu finden, die ihr widersprechen. Bis das nicht geschieht oder je mehr Falsifizierungsversuche so eine Hypothese übersteht, umso erprobter, umso belastbarer ist unsere Annahme.)

Was wir beim Messen / Testen tun ist als folgendes: Wir suchen Anhaltspunkte (Messung) die unsere Annahme (Testhypothese) stützen um der Annahme folgend Entscheidungen zu treffen.

„Data informed“ – die Entscheidung liegt bei uns, Daten sind ein Faktor den wir berücksichtigen

Ein kleines sprachliches Experiment um zu verdeutlichen wieso „data driven“ nicht funktionieren kann, sondern wir immer eine Annahme über die Wirkungszusammenhänge brauchen

Drehen wir das den Satz oben um: Wir treffen Entscheidungen die unserer Annahme folgen, wenn wir diese Annahme argumentativ / logisch mit den Zahlen zumindest nicht widerlegen konnten.

Und jetzt lassen wir mal die Annahme weg: Wir treffen Entscheidungen … ähm … Zahlen.

Was hier – zugegeben stark verkürzt – abgebildet ist, sagt nichts anderes als: Zahlen selbst treffen keine Entscheidungen, Menschen treffen Entscheidungen. Und wenn sie diese Entscheidungen wohl überlegt treffen wollen, dann versuchen sie Informationen zu ihren Grundannahmen einzuholen. Handelndes Subjekt ist das Individuum – nicht das Messergebnis.

Deswegen sollte man nicht von „data driven“ sprechen, sondern von „data informed“. Es bringt zum Ausdruck, dass wir in diesem Zusammenhang nicht bloßes Objekt sind – Werkzeug der Zahlen, die uns brauchen um Entscheidungen zu treffen, Dinge umzusetzen, sprich: unsere (Um-)Welt zu gestalten. Sondern wir sind handelnde Subjekte, die eigenverantwortlich handeln.

Entscheiden heißt bewusst gestalten. Heißt auch Verantwortung wahrnehmen und Verantwortung tragen. In nicht eindeutigen Entscheidungssituationen ist das nicht immer angenehm, aber es ist wichtig. Denn nur wir können eine Vorstellung davon haben was wir im Ergebnis erreichen wollen und wie das funktionieren kann. Wir können und müssen entscheiden – das kann bzw. darf uns niemand abnehmen. Entscheiden heißt handeln. Wer nicht entscheidet, handelt nicht. Der nutzt seinen Gestaltungsspielraum nicht. Aber was macht er dann? Autsch.

Verwandte Artikel

Schönen Sonntag!