Noise: das unterschätzte Problem neben Bias

Was unterscheidet Noise von Bias?

Ein Bias verschiebt alle Urteile in dieselbe Richtung. Noise verteilt sie in verschiedene Richtungen. Beide verringern die Treffsicherheit und brauchen verschiedene Gegenmittel.

Ein Bild aus dem Alltag: Zwei Badezimmerwaagen. Die erste zeigt immer zwei Kilo zu viel. Das ist ein Bias, du ziehst einfach zwei Kilo ab. Die zweite zeigt bei jedem Wiegen etwas anderes, mal mehr, mal weniger. Das ist Noise. Abziehen hilft hier nicht.

Die Autoren unterscheiden drei Arten von Streuung:

• Niveau-Noise: Manche Personen urteilen grundsätzlich strenger als andere. Eine Prüferin vergibt im Schnitt bessere Noten als ihr Kollege.
• Muster-Noise: Personen reagieren unterschiedlich auf bestimmte Merkmale. Jonas bewertet Handwerksbetriebe skeptischer, Ayşe Gastronomie.
• Anlass-Noise: Dieselbe Person urteilt je nach Tag, Stimmung oder Reihenfolge anders.

Was ein Bias genau ist und wie er sich von Noise abgrenzt, erklärt die Seite Was ist ein Bias?.

MerksatzEin Bias lässt sich korrigieren. Noise lässt sich nur verringern, indem Urteile gleichförmiger zustande kommen.

Wie groß ist Noise in Organisationen?

Noise ist oft deutlich größer, als die Verantwortlichen erwarten. Das ist eine der Kernaussagen des Buchs. Weil Fachleute ihre Urteile selten mit denen ihrer Kolleginnen vergleichen, bleibt die Streuung unsichtbar.

Die Autoren berichten von einem Noise-Audit in einem großen Versicherungsunternehmen. 48 Underwriter, die Versicherungsprämien kalkulieren, bewerteten dieselben realistischen Fälle unabhängig voneinander. Die Führungskräfte erwarteten Unterschiede von etwa 10 Prozent zwischen zwei zufällig gewählten Urteilen (Kahneman, Sibony und Sunstein, 2021). Typisch waren laut derselben Quelle aus dem Jahr 2021 rund 55 Prozent.

Warum bleibt so viel Streuung unbemerkt? Jede Fachkraft sieht nur ihre eigenen Fälle und bekommt selten Rückmeldung, wie andere entschieden hätten. Im Gespräch einigt man sich schnell, weil die Begründungen plausibel klingen. Und wer erfahren ist, fühlt sich bei seinem Urteil sicher. Diese Sicherheit sagt aber nichts darüber, ob eine Kollegin mit derselben Erfahrung zum selben Ergebnis käme.

Zwei Lehrkräfte korrigieren dieselbe Klassenarbeit. Die eine gibt eine 2, die andere eine 3. Beide können ihre Note begründen. Für die Schülerin entscheidet der Zufall, welche Lehrkraft zuständig ist.

Bei der Genossenschaftsbank kostet Noise doppelt. Der Schreinerei wird je nach Betreuer ein anderer Zins angeboten, und die Bank verliert gute Kunden an die Konkurrenz, während sie schlechte zu günstig finanziert.

Werte frei gewählt zur Veranschaulichung. Zinsaufschlag in Prozentpunkten, Mittelwert aus acht Werten gerundet auf zwei Nachkommastellen.

Wie unterscheidet sich Noise von ähnlichen Begriffen?

Noise betrifft die Streuung über viele Urteile. Verwandte Begriffe beschreiben Verzerrungen mit Richtung oder Einflüsse einzelner Eindrücke.

Wann ist Streuung erwünscht?

Streuung ist erwünscht, wo es keine richtige Antwort gibt und neue Ideen gebraucht werden. In einem Strategieworkshop sind verschiedene Sichtweisen ein Gewinn. Bei Urteilen mit klarem Maßstab ist Streuung ein Fehler: Kreditrisiko, Prämie, Leistungsbewertung, Gutachten.

Organisationale Grenze: Gleichförmigkeit als Ersatz für Urteil. Wer Noise bekämpft, kann Fachurteile in starre Formulare pressen, bis niemand mehr mitdenkt. Ein Formular verringert die Streuung, kann aber den Bias aller Beteiligten festschreiben. Schutz im Prozess: Feste Kriterien und unabhängige Teilurteile, dazu eine abschließende Gesamtwürdigung durch Menschen. Regelmäßige Audits zeigen, ob Streuung und Treffsicherheit sich verbessern.

Für die Genossenschaftsbank heißt das: Beim Gespräch über die Zukunft des Schreinereibetriebs dürfen Jonas und Ayşe verschiedener Meinung sein. Bei der Einstufung des Risikos sollte das Ergebnis aber möglichst nicht davon abhängen, wer den Antrag bearbeitet.

1. Miss die Streuung. Lasse mehrere Personen denselben Fall unabhängig bewerten, das ist ein einfacher Noise-Audit.
2. Zerlege das Urteil. Bewerte Teilaspekte einzeln anhand fester Kriterien, bevor das Gesamturteil fällt.
3. Bilde unabhängige Urteile und mittle sie. Mehrere getrennte Einschätzungen ergeben im Mittel weniger Streuung als eine einzelne.
4. Urteile im Vergleich. Ein Fall im Vergleich zu bekannten Referenzfällen lässt sich gleichförmiger einordnen als auf einer freien Skala. Wie du solche Regeln festschreibst, zeigt die Seite Entscheidungsregeln.

Häufige Fragen