Wie diskriminierend ist künstliche Intelligenz?

Herausforderungen und Lösungsansätze

von Prof. Dr. Susanne Beck

Computersysteme treffen bereits heute in vielen Lebensbereichen Entscheidungen für uns Menschen auf der Basis von Daten, die mithilfe von künstlicher Intelligenz verarbeitet werden. Insbesondere das maschinelle Lernen ist ein effizientes Werkzeug, um große, unstrukturierte Datenmengen zu durchforsten, darin Muster zu erkennen und anhand der gewonnenen Erkenntnisse selbstständig weiter zu lernen. Es ermöglicht Datenauswertungen, wie sie kein Mensch in derselben Geschwindigkeit vornehmen könnte. Nicht immer offensichtlich ist: Die scheinbar faktenbasierten Ergebnisse sind nicht per se neutral und wertungsfrei. Dazu zwei reale Beispiele.

Beispiel 1: Passende Bewerber identifizieren

Die Personalverantwortlichen einer großen Firma sortierten mithilfe eines Algorithmus die eingegangenen Bewerbungen mit Blick auf die Passfähigkeit auf die ausgeschriebene Stelle vor. Was sie nicht wussten: Bewerbungen von Frauen bewertete der Algorithmus systematisch schlechter als jene von Männern. Denn die Datenbasis, mit der der Algorithmus trainiert wurde, beinhaltete die Daten der in den letzten zehn Jahren erfolgreich eingestellten Beschäftigten. Da diese überwiegend männlich waren, hatte der Algorithmus gelernt, die Eigenschaft „männlich“ als positiv zu bewerten.

Beispiel 2: Rückfallwahrscheinlichkeit von Straftätern bestimmen

In den USA wurden Algorithmen genutzt, um die Rückfallwahrscheinlichkeit von verurteilten Straftätern zu bestimmen. Anhand verschiedener Daten ermittelten sie einen Wert, der Richterinnen und Richtern eine Einschätzung darüber geben sollte, mit welcher Wahrscheinlichkeit die Angeklagten erneut eine Straftat begehen. Es zeigte sich, dass dunkelhäutige Angeklagte schlechtere Prognosen erhielten als hellhäutige. Das ist unter anderem darauf zurückzuführen, dass das System mit historischen Kriminalitätsdaten trainiert wurde, die auf statistischen Korrelationen beruhen und die bestimmte gesellschaftliche Vorprägungen spiegeln.

Diese Beispiele zeigen: Nicht nur Menschen differenzieren in ihren Entscheidungen bisweilen ungerechtfertigt. Auch datenbasierte Systeme bergen das Potenzial, bereits vorhandene Diskriminierungen zu übernehmen und möglicherweise sogar zu verschärfen. Diese Verzerrung – auch Bias genannt – kann ihre Ursprünge sowohl in der Eingabe der Daten (Input) als auch in der Anwendung (Output) haben.

Vielfältige systematische Verzerrungen

Als diskriminierender Input gilt, wenn in der Gesellschaft etablierte Ressentiments in die Software übertragen werden (präexistierender Bias). Dies kann explizit geschehen; regelmäßig geschieht es jedoch implizit wie im geschilderten Fall der algorithmenbasierten Bewerberauswahl. Lernt das System aus einer verzerrten Datenbasis, so entstehen verzerrte maschinelle Modelle. Eine Diskriminierung in der Eingabe liegt auch vor, wenn technische Vorgaben dazu führen, dass bestimmte Gruppen von Menschen anders behandelt werden als andere (technischer Bias). Ein Beispiel hierfür sind Sensoren, die nur auf helle Hautfarbe reagieren.

Manche Formen der Diskriminierung entstehen wiederum erst in der Anwendung – also im Output. Feststellen lassen sie sich nur in Testläufen oder auch erst während des Betriebs eines Systems. Ein Beispiel hierfür ist der von Google entwickelte Chatroboter „Tay“: Er wurde nach seiner Veröffentlichung von organisierten Nutzern systematisch mit fremdenfeindlichen Konversationen „gefüttert“ und lernte auf diese Weise eine diskriminierende Ausdrucksweise. Und schließlich kann ein Bias auch im Zusammenspiel von Software und Anwendung entstehen – etwa durch die falsche Interpretation der vom System ausgegebenen statistischen Werte (emergenter Bias).

Differenzieren oder diskriminieren?

Maschinelles Lernen beruht auf Klassifikationen, auf statistischen Korrelationen und Wahrscheinlichkeiten. Die Technologie erkennt neue Muster in Daten, die sich Menschen bisher nicht erschlossen haben. Bei Entwicklung und Einsatz von KI stellt sich nun die Frage: Welche Art der Differenzierung ist diskriminierend?

Lernt das System aus einer verzerrten Datenbasis, so entstehen verzerrte maschinelle Modelle.

Prof. Dr. Susanne Beck

Denn nicht die Differenzierung ist das Problem. Sie ist gesellschaftlich akzeptiert und in manchen Fällen sogar erwünscht – etwa bei Schulnoten oder Steuerklassen. Entscheidend ist, ob eine Ungleichbehandlung (bzw. eine Gleichbehandlung von Ungleichem) gerechtfertigt ist oder nicht.

Für KI-basierte Systeme sind unterschiedlichste Empfehlungen denkbar. So könnte man für bestimmte Lebensbereiche KI-gestützte Beurteilungen gänzlich ablehnen, da diese stets auf statistischen Werten und Gruppenzuordnungen basieren, und stattdessen das Recht auf eine Einzelfallbetrachtung fordern. Für die meisten Lebensbereiche wird maschinelles Lernen grundsätzlich akzeptabel sein, es bleibt jedoch notwendig, diese Art der Entscheidungsfindung kritisch zu hinterfragen. Sollte es zu einer Diskriminierung kommen, muss dies festgestellt und darauf reagiert werden. Damit zusammen hängt die Forderung nach einer nachvollziehbaren Begründung der Entscheidung mit Blick auf den Einzelfall.

Wie aber lassen sich von KI-Systemen erzeugte Diskriminierungen kontrollieren und vermeiden? Die häufig geforderte Transparenz von maschinellen Entscheidungen ist nicht leicht herzustellen. Faktisch sind die Algorithmen – insbesondere beim sogenannten Deep Learning – so komplex, dass sie sich ex post kaum noch nachvollziehen lassen. Zudem handelt es sich oft um Firmengeheimnisse, die nicht offengelegt werden müssen. Hinzu kommt: Bei Systemen, die im laufenden Betrieb weiterlernen (lernende Systeme), kann nie mit vollständiger Sicherheit ausgeschlossen werden, dass unerwünschte Lernvorgänge stattfinden. Die Daten, mit denen KI-Systeme trainiert werden, sind eben oft ungefiltert und nicht neutral. Nicht zuletzt herrschen bei der Entwicklung von KI-Systemen oft unklare Verantwortlichkeiten bezüglich der Bewertung der Datenbasis oder der Überwachung der Ergebnisse.

Herausforderungen – nicht nur für Programmierer

Fest steht: Diskriminierung durch KI-Systeme zu vermeiden, kann und soll nicht allein Aufgabe der Programmierer sein. Gefragt ist die Gesellschaft.

Ein denkbarer Ansatz wäre die Etablierung einer Institution, die stellvertretend im Interesse der Bürgerinnen und Bürger die verwendeten Daten und Methoden von KI-basierten Systemen überprüft. KI-basierte Entscheidungen sollten auf diese Weise so transparent und nachvollziehbar wie möglich gemacht werden. Gründe für Ungleichbehandlungen ließen sich dann einfacher nachvollziehen und gegebenenfalls akzeptieren.

Die Technologie erkennt neue Muster in Daten, die sich Menschen bisher nicht erschlossen haben. Bei Entwicklung und Einsatz von KI stellt sich nun die Frage: Welche Art der Differenzierung ist diskriminierend?

Prof. Dr. Susanne Beck

Nötig sind darüber hinaus Schulungen und Fortbildungen für Beschäftigte, die KI nutzen, insbesondere im Hinblick auf mögliche Fehlerrisiken der Systeme. Hierbei sollten auch die Hersteller der Systeme in die Pflicht genommen werden: Schaffen sie bei den Nutzern ein entsprechendes Bewusstsein, so ließen sich Diskriminierungen im Output – also bei der Anwendung der Systeme – besser vermeiden.

Zudem muss gewährleistet werden, dass die oder der Einzelne gegen eine unrechtmäßige Diskriminierung durch KI-Systeme vorgehen kann. Dies beinhaltet die Möglichkeit, die eigenen Rechte vor Gericht geltend zu machen. Aber auch der Exekutive kommt die Aufgabe zu, einer rechtswidrigen Diskriminierung durch KI-Systeme entgegenzuwirken. Denkbar wäre auch, sich gegen diskriminierende KI-Systeme versichern zu lassen.

---

Hinzu kommt das Erfordernis des Verzichts auf bestimmte, als diskriminierend eingestufte Variablen – etwa Rasse oder Geschlecht. Problematisch ist, dass diese Eigenschaften oft über stellvertretende Variablen doch eine Rolle für die KI-Entscheidung spielen. Im eingangs skizzierten Beispiel zur Bestimmung der Rückfallwahrscheinlichkeit von Straftätern wurde die Hautfarbe nicht explizit als Merkmal eingegeben. Die Software griff jedoch auf andere Variablen – beispielsweise den Wohnort oder die finanzielle Situation – zu, was letztlich dann doch zu einer entsprechenden Diskriminierung führen kann. Insofern hilft dann aber wieder eine nachträgliche Kontrolle der KI.

Schließlich könnte auch Fairness zum Ziel maschineller Lernverfahren werden. Dann ginge es nicht mehr nur darum, möglichst effiziente oder genaue Klassifikationen zu ermöglichen – sondern auch möglichst gerechte. Neben der technischen Umsetzbarkeit stellt sich hier allerdings natürlich die schwierige Frage nach einer allgemeingültigen und implementierbaren Vorstellung von Gerechtigkeit.

Es bleibt festzuhalten: Die potenzielle Diskriminierung beim Einsatz von künstlicher Intelligenz muss Teil einer größeren Debatte werden. Auf nationaler Ebene ist diese bereits angestoßen – durch Gremien wie die von der Bundesregierung eingerichtete Datenethikkommission und die Enquete-Kommission Künstliche Intelligenz, ebenso wie durch die vom Bundesministerium für Bildung und Forschung (BMBF) etablierte Plattform Lernende Systeme. Um die weitreichenden und vielversprechenden Möglichkeiten von KI-Systemen optimal zum Wohl des Einzelnen und der Gesellschaft zu nutzen, muss Risiken wie der Diskriminierung bewusst, bedacht und im öffentlichen Diskurs begegnet werden. //

Informationen und Kontakt zur Autorin