Wirkung nachweisen: KPIs und Reporting
Die Frage kommt spätestens im zweiten Quartal nach der Einführung, und meistens beiläufig: Was hat das jetzt eigentlich gebracht?
Die übliche Antwort besteht aus Eindrücken. Die Fachabteilung sagt, es gehe schneller. Der Betriebsrat sagt, es sei ruhiger geworden. Jemand rechnet eine Zahl aus, die niemand nachprüfen kann.
Diese Lektion beschreibt das Verfahren, mit dem sich der Unterschied belegen lässt: eine Kennzahl, die vor dem Start feststeht, ein Messfenster, eine identisch erhobene Nachher-Zahl — und eine Hochrechnung, in der jede Größe einzeln begründbar ist.
Zufriedenheit ist kein Nachweis
Die verbreitetste Ersatzgröße ist die Zufriedenheit. In der Befragung „KI in Unternehmen" der Bundesnetzagentur (808 Unternehmen, Erhebung Oktober bis Dezember 2024) sagten 75 Prozent der KI-Nutzer, ihre Erwartungen hätten sich erfüllt.
Das ist eine gute Nachricht — aber es ist kein Wirkungsnachweis. Es ist eine Selbsteinschätzung.
Warum das nicht genügt, kennst du aus Lektion 9: Im randomisierten Experiment von METR (16 erfahrene Entwickler, 246 reale Aufgaben) brauchten die Teilnehmer mit KI-Werkzeugen 19 % länger und hielten sich hinterher für 20 % schneller. Die Autoren schränken die Übertragbarkeit auf andere Tätigkeiten ausdrücklich ein — und diese Lektion leitet daraus nichts über KI im Allgemeinen ab. Der Punkt ist ein engerer: Zufriedenheit und Wirkung können unabhängig voneinander sein.
Das heißt nicht, dass Zufriedenheit egal wäre. Ein Verfahren, das niemand benutzt, wirkt nicht, egal was es könnte. Zufriedenheit ist eine Voraussetzung.
Sie ist nur kein Beleg. Und wenn im Lenkungskreis jemand nach dem Nutzen fragt, ist „die Kollegen sind zufrieden" die Antwort, nach der die nächste Frage kommt.
Genau eine Kennzahl entscheidet
Der häufigste Fehler beim Nachweis passiert lange vor der Messung: Es werden fünf Kennzahlen genannt — und später die günstigste ausgewählt.
Deshalb die Regel: Pro Anwendungsfall gibt es genau eine Kennzahl, die entscheidet. Schriftlich, mit Zielwert und Erhebungsvorschrift, festgelegt vor dem Start.
Das heißt nicht, dass du nur eine Zahl erhebst. Zwei oder drei sind sinnvoll — üblicherweise eine quantitative und eine qualitative. Aber nur eine davon beantwortet die Frage, ob der Fall geliefert hat. Die anderen beschreiben, was daneben passiert ist.
Der Unterschied klingt formal und ist es nicht. Wer nach der Einführung entscheidet, woran der Erfolg gemessen wird, entscheidet mit Blick auf das Ergebnis. Es gibt immer eine Größe, die sich gut entwickelt hat.
Die Auswahl ist dann keine Messung. Sie ist eine Erzählung mit Beleg.
Die fünf Schritte
Das folgende Vorgehen stammt aus der Praxisliteratur deutscher Anbieter, nicht aus einer Studie. Es ist eine Arbeitsanleitung und kein Messergebnis — dafür ist es vollständig und mit Bordmitteln umsetzbar.
| Schritt | Was passiert | Woran es scheitert |
|---|---|---|
| 1 · Kennzahl festlegen | Eine je Fall, schriftlich, mit Zielwert und Erhebungsvorschrift — vor dem Start | Es werden fünf genannt und später die günstigste gewählt |
| 2 · Vorher-Wert erheben | Der Ist-Zustand ohne KI, aus echten Fällen des laufenden Betriebs | Der Vorher-Wert wird geschätzt statt gemessen |
| 3 · Acht Wochen Betrieb | Messfenster mit unveränderter Methode und Datenquelle | Mitten im Fenster wird Modell, Anbieter oder Prozess geändert |
| 4 · Nachher-Wert aufnehmen | Dieselbe Erhebung wie in Schritt 2, dieselbe Definition, dieselbe Art von Fällen | Nachher wird bequemer gemessen als vorher — etwa per Systemauswertung statt Stoppuhr |
| 5 · Hochrechnen und gegenrechnen | Differenz × Fallzahl × Vollkostensatz, davon die Vollkosten der Lösung abziehen | Die Fallzahl stammt aus dem Gefühl, die Kosten sind unvollständig |
Schritt 2 ist der Ausgangswert aus Lektion 9 — und der Punkt, an dem die meisten Nachweise bereits verloren sind.
Warum acht Wochen
Die acht Wochen sind gesetzt, nicht hergeleitet. Ihr Zweck ist ein doppelter:
- Lang genug, dass die ersten Wochen mit Einarbeitung, Rückfragen und Nachjustieren nicht das Ergebnis bestimmen.
- Kurz genug, dass die Erhebung nicht im Tagesgeschäft versandet.
Wichtiger als die genaue Länge ist, dass sie vorher feststeht — und dass im Fenster nichts geändert wird.
Genau daran scheitert es in der Praxis am häufigsten: Mitten im Messfenster wird das Modell gewechselt, der Anbieter getauscht oder der Prozess nachjustiert. Danach misst du zwei verschiedene Dinge und weißt nicht mehr, welches.
Ist eine Änderung unvermeidlich, endet das Fenster dort und ein neues beginnt. Das ist unbequem und ehrlich.
Die Hochrechnung, durchgerechnet
Ein Beispiel mit erfundenen, aber realistisch gewählten Werten.
Die Bearbeitung einer eingehenden Serviceanfrage dauerte vorher im Mittel 6,0 Minuten, im Messfenster danach 3,5 Minuten. Die Differenz beträgt 2,5 Minuten je Fall.
Über das Ticketsystem laufen 120 Anfragen pro Woche, also 6.240 im Jahr.
6.240 Fälle × 2,5 Minuten = 260 Stunden
260 Stunden × 65 €/Stunde = 16.900 € im Jahr
− Vollkosten der Lösung
Vollkosten heißt: Lizenzen, Integration und Schulung einschließlich der Lernzeit — die Posten aus Lektion 6.
Der Restaufwand
Der Posten, der am häufigsten unter den Tisch fällt: Prüfen, Nachfragen, Ausnahmen von Hand erledigen.
Wenn die Nachher-Messung diese Fälle mit erfasst, steht der Restaufwand bereits in den 3,5 Minuten und ist erledigt. Wenn sie nur die glatt durchgelaufenen Fälle erfasst, fehlt er — und die Ersparnis ist zu hoch gerechnet. Das ist derselbe Fehler wie in Lektion 5, hier auf der Messseite.
Die Fallzahl ist die kritische Größe
Sie stammt aus dem System, in dem die Vorgänge entstehen — dem Ticketsystem, dem ERP, einem Postfach, einer Protokolldatei. Nicht aus einer Angabe der Fachabteilung.
Ohne belegte Fallzahl ist eine Zeitersparnis je Fall keine Zahl, sondern eine Behauptung.
Drei Messfehler und ihre Gegenmittel
1 · Die Kennzahl wurde nachträglich definiert
Wer nach der Einführung entscheidet, woran der Erfolg gemessen wird, entscheidet mit Blick auf das Ergebnis.
Gegenmittel: Kennzahl, Zielwert und Erhebungsvorschrift stehen vor dem Start in einem Dokument, das später niemand mehr ändert. Wird die Kennzahl im Nachhinein doch gewechselt, gehört der Wechsel samt Begründung in dieselbe Vorlage — dann ist er wenigstens sichtbar.
2 · Demo-Fälle statt echter Fälle
Für die Vorführung wird ausgewählt, was gut läuft: die vollständige Anfrage, das saubere PDF, der Standardfall. Diese Auswahl wandert oft unbemerkt in die Nachher-Messung. Gemessen wird dann ein Prozess, den es im Alltag nicht gibt.
Gegenmittel: eine Zufallsstichprobe aus dem laufenden Betrieb — einschließlich der Fälle, die abgebrochen oder an einen Menschen zurückgegeben wurden. Der Anteil abgebrochener Fälle ist übrigens selbst eine Kennzahl und gehört in die Vorlage.
3 · Effekte ohne Fallzahl hochgerechnet
„Spart zehn Minuten pro Vorgang", multipliziert mit der Belegschaft und mit 220 Arbeitstagen: So entstehen sechsstellige Einsparungen, die niemand je gesehen hat.
Der Fehler steckt nicht in der Zeitersparnis. Er steckt in der Fallzahl.
Gegenmittel: Die Fallzahl kommt aus einem System und beschreibt die Vorgänge, die im Messzeitraum tatsächlich über den betrachteten Prozess gelaufen sind — hochgerechnet auf ein Jahr.
Nutzen zweispaltig führen
Bleibt die Frage, was mit dem passiert, was sich nicht in Euro fassen lässt. Die Antwort kennst du im Prinzip aus Lektion 5 — hier ist sie strenger.
Erste Spalte: was sich aus Zeit, Fallzahl und Vollkosten ergibt.
Zweite Spalte: die qualitativen Wirkungen — aber nicht als Adjektive. Jede Zeile braucht ebenfalls eine Zahl und eine Erhebung:
- Fehlerquote
- Durchlaufzeit vom Eingang bis zur Antwort
- Anteil der Rückläufer
- Zahl der Eskalationen
Nur die Umrechnung in Euro unterbleibt.
Das ist der eigentliche Gewinn der Trennung: Die zweite Spalte ist genauso überprüfbar wie die erste. Sie ist nur nicht in Geld ausgedrückt — und damit auch nicht angreifbar als „hineingeschätzt".
Die Vorlage
Eine Seite je Anwendungsfall. Vier Zeilen in der ersten Spalte, darunter die zweite Spalte und ein Absatz zur Erhebung.
| Zeile | Inhalt | Beispiel |
|---|---|---|
| Vorher | Kennzahl im Ist-Zustand, mit Erhebungsart und Zeitraum | 6,0 Min. je Anfrage · 40 Fälle Stichprobe · KW 10–11 |
| Nachher | Dieselbe Kennzahl, identisch erhoben | 3,5 Min. je Anfrage · 40 Fälle Stichprobe · KW 20–21 |
| Hochrechnung | Differenz × Fallzahl × Vollkostensatz | 2,5 Min. × 6.240 Fälle = 260 Std. × 65 € = 16.900 € |
| Gegenrechnung | Vollkosten der Lösung im selben Zeitraum | Lizenz, Integration, Schulung inkl. Lernzeit |
Mehr braucht es nicht, und weniger trägt nicht.
Für Berater:innen
Der Wirkungsnachweis ist der Moment, in dem sich zeigt, ob deine Bewertung aus Lektion 5 getragen hat. Zwei Dinge sind dabei heikel.
Du hast ein Interesse am Ergebnis. Deshalb definierst du die Kennzahl mit dem Mandanten vor dem Start und nicht danach — und dokumentierst, wer sie festgelegt hat.
Eine verfehlte Prognose ist kein Betriebsunfall. Wenn die geschätzte Ersparnis 9 Minuten war und gemessen 2,5 herauskommen, ist die richtige Reaktion nicht, die Rechnung zu retten, sondern zu zeigen, welche Annahme daneben lag. Das ist der Unterschied zwischen einem Berater, den man wieder holt, und einem, dessen Zahlen man künftig nachrechnet.
Für interne KI-Verantwortliche
Deine Aufgabe ist es, die Messung durchzuhalten, wenn niemand mehr danach fragt. Drei Dinge helfen:
Setz die Erhebung in den Kalender, nicht auf eine Liste. Zwei Termine: einer für den Vorher-Wert, einer acht Wochen nach dem Start.
Miss selbst, wenn es sonst niemand tut. Vierzig Fälle mit der Stoppuhr sind ein Nachmittag — und mehr wert als jede Systemauswertung, deren Definition niemand kennt.
Zeig auch das, was nicht funktioniert hat. Ein Bericht ohne einen einzigen roten Wert wird nicht geglaubt, und zwar zu Recht.
Häufige Fragen
Was, wenn es keinen Vorher-Wert gibt? Dann gibt es keinen Nachweis, sondern eine Beschreibung des Ist-Zustands. Das ist ehrlicher, als eine Differenz zu einer geschätzten Ausgangsgröße zu bilden. Für den nächsten Fall: vorher messen.
Können wir statt Zeit auch Qualität messen? Ja — Fehlerquote, Rückläuferanteil und Durchlaufzeit sind gute Kennzahlen. Die Regeln bleiben dieselben: vorher definiert, identisch erhoben, mit belegter Fallzahl.
Wie gehen wir mit Effekten um, die erst nach Monaten auftreten? Das Messfenster misst, was es misst. Längerfristige Effekte gehören in die zweite Spalte, mit eigener Kennzahl und eigenem Zeitpunkt — nicht in die Hochrechnung des ersten Jahres.
Der gemessene Nutzen liegt unter der Schätzung. Was jetzt? Erst prüfen, ob der Messfehler bei euch liegt (nachträgliche Kennzahl, Demo-Fälle, fehlende Fallzahl). Wenn nicht: Der gemessene Wert gilt. Und die Bewertung des nächsten Falls wird um diese Erfahrung besser — das ist der eigentliche Ertrag.
Wer darf die Ampel auf Rot setzen? Die Person, die den Fall verantwortet. Wenn das nur der Sponsor darf, gibt es keine roten Ampeln.
Quellen
- **Bundesnetzagentur**, „KI in Unternehmen: Einsatz, Ressourcen und Herausforderungen"; Befragung von 808 Unternehmen, Erhebung 14.10.–06.12.2024 — 75 % der KI-Nutzer sagen, ihre Erwartungen hätten sich erfüllt. — Erhebung 14
- **METR**, „Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity"; randomisiertes kontrolliertes Experiment, 16 Entwickler, 246 Aufgaben. Die Autoren schränken die Übertragbarkeit ausdrücklich ein. — 2025 AI on Experienced Open-Source Developer Productivity"
- **Praxisliteratur deutscher Anbieter** zum Soll-Ist-Vergleich — Arbeitsanleitung, keine Erhebung. — Erhebung