lakeworkKI im Team, gemessen
Erstgespräch
Menü

Messung, 9 Minuten Lesezeit

KI‑Nutzen im Team messen, ohne sich selbst zu belügen

KI-Nutzen messen im kleinen Team: Regeln vor den Daten, Ende-zu-Ende-Zeiten aus Systemdaten, blinde Qualitätsprüfung und alle Einzelwerte.

Qendrim Vllasa, 10. November 2026Studien und Quellen geprüft am 10.11.2026

KI-generiertes Symbolbild

Kurz gesagt: Wer den Nutzen von KI im eigenen Team belegen will, kann sich weder auf das Gefühl der Beteiligten noch auf Durchschnittswerte aus Studien verlassen. Belastbar wird eine Messung, wenn die Regeln vor dem ersten Datenpunkt feststehen, die Zeit bis zum geprüften Ergebnis zählt und Systemdaten die Umfrage ersetzen. Eine kleine Zahl, die einer Prüfung standhält, ist mehr wert als eine große, über die im nächsten Budgetgespräch gestritten wird.

Warum das Gefühl „wir sind schneller“ nicht reicht

Selbst eingeschätzte Zeitersparnis ist ein verbreitetes Maß für den Nutzen von KI im Unternehmen, und ein unzuverlässiges. Studien aus den Jahren 2023 bis 2026 zeigen, wie weit Gefühl, Labor und Alltag auseinanderliegen. Wer die Zahlen kennt, plant vorsichtiger und misst anders.

Was die METR-Studie gezeigt hat

Das Forschungsinstitut METR ließ 2025 sechzehn erfahrene Open-Source-Entwickler echte Aufgaben aus ihren eigenen Projekten bearbeiten, zufällig zugeteilt mit oder ohne KI-Werkzeuge. Vor dem Versuch erwarteten die Entwickler, mit KI 24 % schneller zu sein. Hinterher schätzten sie, 20 % schneller gewesen zu sein. Gemessen waren sie 19 % langsamer (METR, Juli 2025). Im Februar 2026 hat METR mit neueren Werkzeugen nachgemessen. Nun brauchten die Entwickler mit KI eher weniger Zeit als ohne, die Unsicherheit ist aber groß, und METR nennt die eigenen Daten selbst ein unzuverlässiges Signal (METR, Februar 2026). Die 19 % Verlangsamung sind also kein aktueller Stand. Der Abstand zwischen Gefühl und Messung bleibt die Lehre.

Die Lehre gilt über Softwareteams hinaus. Menschen erinnern sich an den Moment, in dem ein Entwurf in Sekunden dastand, und vergessen die zwanzig Minuten Nacharbeit danach. Mit Unehrlichkeit hat das wenig zu tun, mit der Art, wie wir Zeit wahrnehmen, sehr viel.

Warum der Alltag kleiner ausfällt als das Labor

Im Labor sank die Zeit für Schreibaufgaben mit ChatGPT um rund 40 % (Noy und Zhang, Science 2023). Im Arbeitsalltag sieht es anders aus: Eine Befragung von rund 25.000 Beschäftigten in 7.000 Betrieben in Dänemark ergab eine selbst berichtete Zeitersparnis von 2,8 % der Arbeitszeit, in der überarbeiteten Fassung vom März 2026 rund 3 % (Humlum und Vestergaard, NBER Working Paper 33777).

Eine Feldstudie mit 758 Beratern der Boston Consulting Group zeigt, warum die Spanne so groß ist. Bei Aufgaben, die das Modell gut beherrscht, arbeiteten die Teilnehmenden schneller und besser. Bei einer Aufgabe knapp außerhalb dieser Grenze lagen sie mit KI um 19 Prozentpunkte seltener richtig als ohne (Dell’Acqua u. a., HBS Working Paper 24-013). Ob eine Aufgabe innerhalb oder außerhalb dieser Grenze liegt, sieht man ihr von außen nicht an.

Nacharbeit: der Posten, den niemand zählt

Ein großer Teil der gesparten Zeit fließt wieder ab. Laut einer Befragung von 3.200 Beschäftigten großer Unternehmen im Auftrag von Workday gehen knapp 40 % der durch KI gewonnenen Zeit in Korrekturen, Umschreiben und Prüfen (Workday, Januar 2026). Der Versuch der britischen Regierung mit Microsoft 365 Copilot und rund 20.000 Beschäftigten kam auf 26 Minuten pro Tag, allerdings selbst berichtet, ohne quantitative Qualitätsmessung und ohne Antwort auf die Frage, wofür die Zeit danach genutzt wurde (UK Government, Copilot-Experiment).

Regeln für eine Messung, der man glauben kann

Die folgenden Regeln stammen aus der Methode, nach der ich in Programmen messe. Die vollständige Fassung mit Vorlagen steht unter Messmethode. Sie funktionieren genauso, wenn Sie ohne externe Hilfe messen.

1. Regeln vor den Daten festlegen

Hauptkennzahl, Leitplanken, Zeitfenster und Auswertungsregel stehen schriftlich und datiert fest, bevor ein einziger Ausgangswert berechnet wird. Vorher wird nur geprüft, ob die nötigen Zeitstempel vorhanden und vollständig sind. Dazu gehört eine Wechselregel: Die Kennzahl darf nur gewechselt werden, wenn die Datenquelle ausfällt, und der Wechsel steht mit Begründung im Bericht.

Der Grund ist einfach. Wer erst die Daten sieht und dann die Kennzahl wählt, findet fast immer eine, die gut aussieht.

2. Ende-zu-Ende messen, nicht nur den Entwurf

Die Zeit läuft vom Beginn einer Aufgabe bis zum geprüften, veröffentlichten oder versendeten Ergebnis. Prüfen und Korrigieren sind darin enthalten. Damit ist jede gemessene Zeit schon eine Netto-Zeit, und der Posten Nacharbeit muss nicht nachträglich geschätzt werden. Ein Entwurf, der in Sekunden dasteht, hilft wenig, wenn die Prüfung länger dauert als früher das Schreiben.

3. Systemdaten vor Stoppuhr und Umfrage

Die Reihenfolge der Datenquellen ist fest. Zuerst kommen Zeitstempel aus Systemen, die ohnehin mitschreiben: CMS, Ticketsystem, Postfach, Kanäle wie Discord oder Telegram. Danach folgen feste Stichprobentage mit einem Ein-Klick-Timer für Aufgaben ohne Zeitstempel. An dritter Stelle steht die Arbeitsprobe mit festen Aufgaben aus dem Archiv.

Systemdaten haben einen zweiten Vorteil: Sie lassen sich rückwirkend auswerten. Die Werte aus den Wochen vor dem Start sind frei vom Effekt, dass Menschen anders arbeiten, wenn sie wissen, dass gemessen wird. Die Selbstauskunft in einer kurzen Wochenumfrage bleibt erlaubt, aber nur als Stimmungsbild. In Euro-Werte fließt sie nie ein.

4. Ein Vergleich, der die Saison herausrechnet

Ideal wäre eine Gruppe, die ohne Training weiterarbeitet. In Teams von fünf bis zwanzig Personen gibt es die selten, weil alle mitmachen sollen. Zwei Ersatzwege tragen trotzdem.

Der Vorjahresvergleich nimmt dieselben Kalenderwochen des Vorjahres aus den Systemdaten. Er zeigt, wie stark sich die Kennzahl ohne jede Änderung allein durch die Jahreszeit bewegt. Die Arbeitsprobe arbeitet mit zwei gleichwertigen Aufgabensätzen A und B aus dem Archiv: Die eine Hälfte des Teams bearbeitet vorher Satz A ohne KI und nachher Satz B mit KI, die andere Hälfte umgekehrt. So ist kein Satz im Vorteil, und Saison und Auftragslage spielen keine Rolle.

5. Qualität blind bewerten lassen

Jede Zeitersparnis braucht eine Absicherung, dass die Ergebnisse nicht schlechter geworden sind. Dafür werden alte und neue Arbeitsergebnisse gemischt und ohne Datum vorgelegt. Zwei Personen bewerten sie, eine aus dem Team und eine von außerhalb. Wie gut die beiden übereinstimmen, gehört in den Bericht.

6. Einzelwerte, Spanne und eine ehrliche Einstufung

Berichtet werden Median, Spanne und Anzahl der Werte, dazu alle Einzelwerte als Punktdiagramm. Mittelwerte über verschiedene Aufgaben hinweg gibt es nicht. Jede Kennzahl bekommt eine von drei Einstufungen:

  • Deutlich: mindestens 15 Werte vorher und 15 nachher, mindestens drei Viertel der Nachher-Werte liegen unter dem Median von vorher, und der Vorjahresvergleich zeigt keine gleich große Veränderung ohne Programm.
  • Tendenz: Der Median ist gesunken, die Bedingungen für „deutlich“ sind aber nicht erfüllt.
  • Nicht belegt: alles andere. Seltene Aufgaben werden als Einzelfall beschrieben, ohne Prozentzahl.

7. Euro nur für Zeit, die nachweislich ins Ziel geflossen ist

Gesparte Minuten sind noch kein Geld. Vor dem Start wird festgelegt, wohin gewonnene Zeit fließen soll, zum Beispiel in mehr Beiträge zu Spitzenzeiten oder in die Pflege bestehender Seiten. Die Rechnung lautet dann:

Zeitwert pro Woche = (Median vorher − Median nachher) × tatsächliche Stückzahl pro Woche × Stundensatz

Für eine vorsichtige Variante ersetzt das obere Quartil der Nachher-Werte den Median. In Euro zählt nur die Zeit, die nachweislich ins vereinbarte Ziel geflossen ist. Der Rest heißt „freigewordene Zeit“ und wird nur in Stunden genannt. Auf der Kostenseite stehen Honorar, Lizenzen und die Arbeitszeit des Teams im Programm.

Welche Kennzahl für welches Team

Die Hauptkennzahl hängt an einem einzelnen Ablauf, nicht an einer Abteilung. Die Tabelle zeigt Beispiele für Content- und Medienteams. Es sind Beispielabläufe aus meinem Katalog, keine Ergebnisse eines Kundenprojekts.

Rolle Beispielablauf Hauptkennzahl Datenquelle Leitplanke
Distribution Deal-Texte für alle Kanäle Median-Durchlaufzeit „angelegt“ bis „in allen Kanälen live“ Zeitstempel CMS und Kanäle Korrekturen an Preisen und Links innerhalb von 24 Stunden steigen nicht
Website-Redaktion Kaufberatung aktuell halten Anteil der Seiten mit „zuletzt geprüft“ jünger als 7 Tage Datumsfeld im CMS Datum wird nur nach echter Prüfung gesetzt
Schnitt Video-Nachbereitung aus dem Transkript Minuten pro Video für Kapitel, Beschreibung und Linkliste Stichprobentage, Veröffentlichungszeitstempel falsch zugeordnete Links
Vermarktung Angebotsentwurf pro Partneranfrage Zeit vom Mail-Eingang bis zum versendeten Angebot Postfach Rabatte entscheidet ein Mensch

Die Vermarktung zeigt eine typische Grenze. Gehen nur wenige Anfragen pro Monat ein, kommen in sieben Wochen keine 15 Werte zusammen. Dann trägt die Arbeitsprobe die Aussage, und der Bericht spricht ehrlich von Einzelfällen. Weitere Abläufe mit Kennzahlen finden Sie unter Use Cases.

Was die Messung das Team kostet

Eine Messung, die niemand durchhält, misst nichts. Der Ausgangswert aus Systemdaten kostet das Team keine Zeit, es braucht nur einmal einen lesenden Zugang oder einen Export. In meinem Programm kommen vor dem Praxistag ein Gespräch von 30 bis 45 Minuten, zwei Stichprobentage mit je rund 10 Minuten und eine Arbeitsprobe ohne KI von rund 45 Minuten pro Person dazu. Danach sind es rund 1,5 Stunden pro Person über das ganze Programm: fünf Kurzumfragen, zwei Stichprobentage, die Arbeitsprobe mit KI und ein kurzes Abschlussgespräch. Eine Vorlage für Ausgangswert und Nachmessung liegt unter Downloads.

Häufige Einwände

„Das ist Überwachung.“

Gemessen werden Rollen und Abläufe, nie einzelne Personen. Das sagt die Geschäftsführung dem Team vor dem Start, und es steht so in der Vereinbarung. Die Rohdaten bleiben im Unternehmen. Gibt es einen Betriebsrat, gehört er früh an den Tisch: Technische Einrichtungen, die Verhalten oder Leistung überwachen können, sind nach § 87 Abs. 1 Nr. 6 BetrVG mitbestimmungspflichtig. Das ist eine allgemeine Einordnung nach Rechtsstand 10.11.2026 und keine Rechtsberatung.

„Wir haben keine Systemdaten.“

Fast jedes Team hat mehr Zeitstempel, als es denkt: Versionen im CMS, gesendete Mails, Nachrichten in Kanälen, Statuswechsel im Ticketsystem. Fehlen sie für die Hauptaufgabe ganz, tragen Stichprobentage und Arbeitsprobe die Messung. Das steht dann vorab in der Vereinbarung und wird nicht nachträglich entschieden.

„Die Saison verfälscht alles.“

Das stimmt, wenn man es ignoriert. Sondertage wie Feiertage, Fasnacht oder große Händleraktionen werden vorab benannt und vorher wie nachher ausgeschlossen. Der Vorjahresvergleich zeigt, wie viel Bewegung die Jahreszeit allein erzeugt, und die Arbeitsprobe ist von der Saison unabhängig. Der Unterschied zwischen den Messfenstern wird im Bericht offen genannt.

Wer sich auf eine Messung einlässt, sollte wissen, was passiert, wenn das Ziel verfehlt wird. Meine Bedingungen dafür stehen unter Garantien. Eine erste Einordnung, wo Ihr Team bei Nutzung, Regeln und Messung steht, gibt der kostenlose KI-Check.

Quellen

Qendrim Vllasa

Software-Ingenieur aus Konstanz. Baut mit Teams KI-Abläufe, die im Alltag laufen, und misst, was sie bringen.

KI-Check machenErstgespräch vereinbaren

Weiterlesen