Was wir bewusst nicht messen

Die Kennzahl, die absichtlich niemals allein steht

Es gibt eine Kennzahl, die auf den ersten Blick die offensichtlichste Erfolgsmessung überhaupt zu sein scheint: Wie lange wartet ein Vorschlag, bevor ein Mensch ihn entscheidet? Kürzer ist besser, könnte man meinen — je schneller die Entscheidung fällt, desto reibungsloser läuft der Betrieb, desto zufriedener sind die Anwenderinnen. JiCo misst diese Zeit tatsächlich. Aber sie wird nirgends allein gelesen, in keinem Bericht, in keinem Dashboard.

Steigt gleichzeitig die Menge der Entscheidungen, während die Zeit pro einzelner Entscheidung sinkt, ist das kein Erfolg, den man feiern sollte — es ist ein Warnsignal, das genau das Gegenteil bedeutet. Dann wird nicht mehr wirklich entschieden, sondern nur noch durchgeklickt, und die eigentliche Freigabe ist im Alltag zu einer reinen Formalie verkommen, einem Klick, der stattfindet, aber nichts mehr prüft. Die Gegenkennzahl dazu heisst Freigabe-Ermüdung, und sie steht im internen Kennzahlensystem absichtlich direkt neben der Geschwindigkeit, nicht irgendwo darunter in einer versteckten zweiten Zeile.

Wenn eine Kennzahl sich verbessert, indem man die Kontrolle abbaut

Dasselbe Grundprinzip gilt für eine zweite Kennzahl: die Trefferquote, also der Anteil der Vorschläge, die von einem Menschen unverändert freigegeben wurden, ohne dass irgendetwas korrigiert werden musste. Sinkt diese Quote über die Zeit, bedeutet das: Das Modell schlägt zunehmend Dinge vor, die so nicht brauchbar sind. Die einzig zulässige Antwort darauf ist, das fachliche Glossar und die hinterlegten Konventionen zu schärfen, damit das Modell die eigentliche Aufgabe künftig besser versteht.

Was ausdrücklich keine zulässige Antwort ist: die Freigabe selbst zu lockern, damit mehr Vorschläge automatisch als „passend" durchgehen und die Zahl sich rein rechnerisch wieder verbessert. Damit hätte man die Kennzahl gerettet und gleichzeitig das eigentliche Produkt zerstört — beides in derselben einen Massnahme, ohne dass man dazwischen noch irgendetwas hätte entscheiden müssen. Eine Kennzahl, die sich nur verbessert, indem eine der grundlegenden Regeln des Systems aufgeweicht wird, ist per Definition keine Verbesserung. Sie ist genau der Verlust, den man mit dem ganzen System eigentlich hatte verhindern wollen.

Drei Dinge, die absichtlich fehlen — und warum

Wer im Kennzahlensystem von JiCo nach bestimmten, auf den ersten Blick naheliegenden Werten sucht, wird an drei Stellen bewusst nicht fündig.

Da ist erstens keine Kennzahl für die individuelle Zeitersparnis je einzelner Mitarbeiterin. Eine solche Zahl wäre faktisch eine Leistungsmessung am Einzelnen — und genau das soll JiCo unter keinen Umständen sein. Der Audit-Trail führt zwar auf, wer eine bestimmte Entscheidung getroffen hat, weil die Belegbarkeit einer Aktion das zwingend verlangt. Er ist aber deshalb noch lange keine Leistungsstatistik, und er wird auch technisch nicht wie eine gelesen oder ausgewertet — es gibt keine Auswertung, die Entscheidungszeiten einzelnen Personen gegenüberstellt.

Da ist zweitens keine Erkennungsquote der PII-Schleuse — aus genau dem Grund, der bereits an anderer Stelle ausführlich erläutert wurde: Eine echte Quote bräuchte einen Goldstandard, den es für Freitext schlicht nicht gibt. Nur die Anzahl der tatsächlichen Treffer wird gezählt, niemals eine Quote, die das systematisch Übersehene beziffern würde. Eine solche Zahl wäre erfunden, so überzeugend sie auf einem Management-Dashboard auch aussehen würde.

Und da ist drittens keine Bewertung der Modellqualität in Punkten oder Sternen, wie man sie von anderen KI-Produkten kennt. Es gibt nur eine einzige, bewusst simple Frage, die tatsächlich beantwortet wird: Hat ein Mensch den konkreten Vorschlag als brauchbar empfunden, ja oder nein? Das ist die einzige Bewertung, die am Ende wirklich zählt — nicht, wie elegant oder geschliffen der Text formuliert war, sondern ob er der Sache gedient hat.

Durchsatz ist nicht dasselbe wie Aktivität

Auch die grundlegendste aller Kennzahlen folgt demselben Prinzip, dass gemessen wird, was tatsächlich bewirkt wurde, nicht, was bloss geschehen ist. Der Durchsatz zählt ausschliesslich ausgeführte Aktionen — tatsächlich in Jira angekommene, freigegebene Änderungen —, nicht die blosse Menge an Vorschlägen, die ein Modell im selben Zeitraum formuliert hat.

Der Unterschied klingt zunächst nach einer technischen Feinheit, ist aber in der Praxis entscheidend: Ein System liesse sich sehr leicht so einstellen, dass es beeindruckend viele Vorschläge produziert, von denen am Ende kaum einer tatsächlich zu einer echten Änderung führt — auf dem Papier sähe das nach hoher Aktivität aus, in Wirklichkeit wäre es nur Lärm. Vorschlagsmenge ist deshalb ausdrücklich keine Leistung für sich. Erst was ein Mensch am Ende tatsächlich für richtig befunden und freigegeben hat, zählt als das, was das System wirklich geleistet hat.

Woher die Zahlen überhaupt kommen — und die eine Regel, die für alle gilt

Jede einzelne Kennzahl bei JiCo wird aus demselben Audit-Trail abgeleitet, der ohnehin für die Belegbarkeit geführt werden muss. Es gibt keinen zweiten, separaten Datenbestand, der nur fürs Messen angelegt und gepflegt würde, und keine zusätzliche Erhebung, die eigens für ein Dashboard eingerichtet werden müsste.

Und für jede einzelne dieser Zahlen gilt dieselbe, ausnahmslose Regel: Keine Kennzahl darf sich verbessern lassen, indem irgendwo eine der grundlegenden Regeln des Systems aufgeweicht wird. Eine Zahl, die nur durch weniger Kontrolle besser wird, ist streng genommen keine Verbesserung, so gut sie auf den ersten Blick auch aussehen mag. Sie ist genau der Verlust, den zu vermeiden der eigentliche Zweck der ganzen Übung war.