Bias in KI-gestützten Entscheidungen

Wie gelangt ein Bias in eine KI?

Ein Bias gelangt vor allem an zwei Stellen in eine KI: über die Daten und über die Zielgröße. Die Daten zeigen, was früher passiert ist. Die Zielgröße legt fest, was die KI vorhersagen soll. Beides kann vom tatsächlichen Ziel abweichen.

• Verzerrte Daten: Spiegeln die Daten frühere Entscheidungen, lernt die KI diese Entscheidungen nach. Waren sie verzerrt, ist es auch die KI.
• Falsche Zielgröße: Oft lässt sich das tatsächliche Ziel nicht messen. Dann nimmt man eine Ersatzgröße. Beim Wasserversorger heißt das Ziel „Risiko eines Rohrbruchs“, gemessen wird die „Zahl der Meldungen“.
• Fehlende Fälle: Was in den Daten kaum vorkommt, kann die KI schlecht einschätzen. Die Außenbezirke fehlen fast.

Ein Bild aus dem Alltag: Ein Navigationsgerät, das nur Daten von Autobahnfahrten kennt, schickt dich auch nachts durch ein Dorf, weil es Landstraßen falsch einschätzt.

Was zeigen bekannte Fälle?

Zwei gut dokumentierte Fälle zeigen beide Wege. Bei Amazon steckte die Verzerrung in den Daten, beim Gesundheitsalgorithmus in der Zielgröße.

Amazon entwickelte ab 2014 ein Werkzeug, das Bewerbungen für technische Stellen mit ein bis fünf Sternen bewertete. Es lernte aus Bewerbungen der vergangenen zehn Jahre, die überwiegend von Männern stammten. Laut einem Bericht der Nachrichtenagentur Reuters von 2018 stufte das System Lebensläufe herab, die das Wort „women's“ enthielten. Das Team wurde Anfang 2017 aufgelöst. Laut Reuters verließen sich die Personalverantwortlichen nie allein auf die Bewertungen.

MerksatzPrüfe zuerst, was die KI vorhersagt. Dort verstecken sich oft teure Fehler.

Warum vertrauen Menschen KI-Empfehlungen zu sehr?

Menschen neigen dazu, Empfehlungen eines automatischen Systems zu übernehmen, auch wenn eigene Hinweise dagegen sprechen. Dieses Muster heißt Automation Bias. Es betrifft Laien und Fachleute.

Raja Parasuraman und Dietrich Manzey fassten die Forschung 2010 zusammen. Bei fehlerhaften Hilfen führt Automation Bias zu zwei Fehlerarten: Menschen übersehen Probleme, die das System nicht meldet, und folgen falschen Hinweisen, die es gibt. Laut ihrem Überblick tritt das bei unerfahrenen wie erfahrenen Personen auf und lässt sich durch Schulung oder Anweisungen allein nicht verhindern (Parasuraman und Manzey, 2010).

Die Rechtschreibprüfung markiert ein Wort nicht, also nimmst du an, es sei richtig. Dass sie Namen und Fachbegriffe gar nicht kennt, vergisst du.

Bei Katrin wirkt der Druck in dieselbe Richtung. Die Empfehlung ist klar und mit vielen Daten begründet. Wer widerspricht, braucht gute Gründe. Dabei hat Katrin einen: Sie kennt die Lage der alten Leitungen und weiß, warum dort weniger gemeldet wird.

Organisationale Grenze: die KI als Haftungsschild. In Unternehmen übernehmen Teams eine KI-Empfehlung manchmal, weil sich so niemand persönlich festlegen muss. „Das System hat es so vorgeschlagen“ schützt vor Kritik. Schutz im Prozess: Für jede Entscheidung mit größerer Tragweite ist eine Person benannt, die die Empfehlung prüft und mit Begründung annimmt oder abweicht. Das Team wertet Abweichungen aus und nutzt sie, um das System zu verbessern.

MerksatzJe klarer eine Empfehlung aussieht, desto bewusster musst du sie prüfen.

Wie unterscheidet sich Bias in KI von ähnlichen Begriffen?

Bias in KI-gestützten Entscheidungen verbindet verzerrte Daten mit menschlichem Vertrauen in Maschinen. Verwandte Begriffe beschreiben Teile davon.

Wie Verzerrungen in Personalentscheidungen auch ohne KI entstehen, zeigt die Seite Unconscious Bias bei Personalentscheidungen.

1. Frage nach der Zielgröße. Was sagt das System vorher? Kosten, Meldungen, Klicks oder das, was du erreichen willst?
2. Prüfe die Daten auf Lücken. Welche Fälle, Orte oder Gruppen sind selten vertreten, und warum?
3. Entscheide erst selbst, dann vergleiche. Bilde dir bei wichtigen Fällen ein eigenes Urteil, bevor du die Empfehlung ansiehst.
4. Werte Abweichungen aus. Halte fest, wann du der KI nicht gefolgt bist und wer recht hatte. Wie du eine KI als Gegenstimme nutzt, ohne ihr die Entscheidung zu überlassen, zeigt die Seite KI als Sparringspartner.

Häufige Fragen