Messmethode
Hier steht vollständig, wie ich messe, was ein Programm gebracht hat. Sie können jede Regel prüfen, bevor Sie etwas buchen, und nach dem Programm jede Zahl nachrechnen.
Acht Grundsätze
Die Regeln stehen vor den Daten
Hauptkennzahl, Leitplanken, Zeitfenster und Auswertungsregeln werden in der Ablaufanalyse festgelegt und unterschrieben, bevor ein einziger Ausgangswert berechnet wird. Vorher prüfe ich nur, ob die Zeitstempel vollständig sind, nicht was drinsteht.
Gemessen wird Ende-zu-Ende
Die Zeit läuft vom Beginn einer Aufgabe bis zum geprüften, veröffentlichten Ergebnis. Prüfen und Korrigieren gehören dazu. Jede gemessene Zeit ist damit schon eine Netto-Zeit.
Systemdaten vor Selbstauskunft
Gefühlte Zeitersparnis liegt nachweislich zu hoch: In einer Studie fühlten sich Entwickler mit KI 20 % schneller und waren 19 % langsamer. Deshalb zuerst Zeitstempel aus Systemen, dann feste Stichprobentage, dann Arbeitsproben. Umfragen dienen nur als Stimmungsbild.
Alle Vorgänge zählen
Gemessen wird nicht nur, was mit KI gut lief, sondern jeder Vorgang im Zeitfenster.
Saison und Volumen werden herausgerechnet
Mit dem Vergleich derselben Kalenderwochen im Vorjahr, soweit die Daten reichen, und mit einer Arbeitsprobe aus festen Aufgaben, bei der Saison keine Rolle spielt.
Rollen, nicht Personen
Einzelne Mitarbeitende werden nie bewertet. Das sagt die Geschäftsführung dem Team vorher.
Die Qualität bleibt mindestens gleich
Jede Zeitersparnis wird mit einer blinden Bewertung durch zwei Personen abgesichert. Wer bewertet, weiß nicht, ob ein Ergebnis mit oder ohne KI entstand.
Ehrliche Sprache
Berichtet wird die Wirkung des Programms, also neue Abläufe plus KI, nie ein „KI-Effekt“. Ein eigener Abschnitt heißt „Was nicht funktioniert hat“.
Der Ablauf
Pilot-Vereinbarung
Eine Seite, in der Ablaufanalyse erstellt und unterschrieben: Hauptkennzahl, Datenquelle, Ausgangs- und Nachmessfenster, Zielwert-Regel, Leitplanken für die Qualität und was passiert, wenn eine Datenquelle wegfällt. Sie wird datiert und später mit dem Bericht veröffentlicht, wenn Sie einverstanden sind.
Ausgangswerte
Rückwirkend aus den Zeitstempeln Ihrer Systeme für ein vorab festgelegtes Fenster im Normalbetrieb. Für Aufgaben ohne Zeitstempel zwei Stichprobentage mit einem Ein-Klick-Timer. Dazu eine Arbeitsprobe mit festen Aufgaben aus dem Archiv, ohne KI.
Nachmessung
In Woche 6 und 7 dieselben Quellen und dieselbe Arbeitsprobe, diesmal mit KI. Kurze Abschlussgespräche liefern das Stimmungsbild, fließen aber nie in Zahlen ein.
Bericht
Drei Werktage nach der Nachmessung. Alle Einzelwerte, Median, Spanne, Einstufung und ein Abschnitt „Was nicht funktioniert hat“. Gegengezeichnet von Ihrer Seite. In Woche 13 und 14 folgt die Haltbarkeitsprüfung.
Die Einstufung
- deutlich
- Mindestens 15 Fälle vorher und 15 in der Nachmessung, und drei Viertel der neuen Werte liegen unter dem Median der Ausgangswerte. Der Vorjahresvergleich zeigt keine gleich große Bewegung ohne Programm.
- Tendenz
- Die Richtung stimmt, aber es gibt zu wenige Fälle oder die Streuung ist zu groß für „deutlich“.
- nicht belegt
- Kein erkennbarer Unterschied, oder die Daten reichen nicht. Das steht dann genau so im Bericht.
vorher: 16 Werte von 22 bis 44 Minuten, Median 30,5. nachher: 16 Werte von 14 bis 33 Minuten, Median 20,5.
Was das in Euro bedeutet
Zeitwert pro Woche = (Median vorher − Median nachher) × Fälle pro Woche × Stundensatz
Ich rechne zusätzlich einen vorsichtigen Wert, der statt des Medians das obere Quartil der Nachmessung nimmt. Im Bericht stehen beide. Ein Euro-Wert erscheint nur, wenn die Einstufung mindestens „Tendenz“ ist. Selbst eingeschätzte Zeitersparnis fließt nie in Euro-Werte ein.
Was ich nicht messe
- Die Leistung einzelner Mitarbeitender.
- Inhalte von Texten, Mails oder Kundendaten. Für die Messung reichen Zeitstempel und Stückzahlen.
- Einen allgemeinen „KI-Reifegrad“ für Rankings oder Vergleiche mit anderen Firmen.