Drei Fragen

1) In welchen Bereichen kann es zu Diskriminierung durch Künstliche Intelligenz (KI) kommen und wo ist sie besonders problematisch?

Am besten erforscht ist algorithmische Diskriminierung bisher im Online-Handel und in der Finanzwelt. Da geht es zum Beispiel darum, wer auf Raten kaufen darf, wer einen Kredit bekommt oder welchen Preis eine Versicherung berechnet. Schon kleine Verzerrungen in den Daten können ganze Gruppen systematisch benachteiligen: wenn zum Beispiel Menschen aus bestimmten Stadtteilen schlechtere Konditionen bekommen oder wenn Versicherungen für Menschen mit Migrationsgeschichte teurer sind. Das liegt häufig nicht daran, dass bei diesen Menschen das Risiko höher ist, sondern daran, dass Algorithmen vorurteilsbelastete Schlüsse aus Daten ziehen.

Richtig problematisch wird es aber da, wo es um grundlegende Rechte geht, also um den Zugang zu Gesundheit, Bildung oder Sicherheit. Im Gesundheitswesen setzen viele große Hoffnungen auf KI, etwa bei der Früherkennung von Krankheiten. Klingt gut, doch wenn die Systeme nicht divers trainiert werden, kann das für manche dazu führen, dass ihnen der Zugang zu medizinischer Versorgung verwehrt wird. Das betrifft nicht nur einzelne Menschen, sondern ganze Gruppen.

Auch der Einsatz von KI in der Verwaltung und bei der Polizei ist sehr riskant. Wenn ein Algorithmus mitentscheidet, wer Sozialleistungen bekommt oder welche Stadtteile verstärkt überwacht werden, kann das dazu führen, dass Menschen Leistungen ungerechterweise verwehrt werden oder ganze Viertel dauerhaft unter Verdacht stehen. Das heißt, dass sogar der Staat algorithmisch diskriminieren kann, was wiederum dafür spricht, den Diskriminierungsschutz auszubauen.

2) Wie kann man sich vor Diskriminierung durch KI schützen bzw. sich wehren, wenn man durch KI diskriminiert wurde?

Wer das Gefühl hat, von einem KI-System diskriminiert zu werden, ist nicht sich selbst überlassen: Wir sammeln über unser Meldeformular Fälle von algorithmischer Diskriminierung. Auch Antidiskriminierungsstellen oder Verbraucherzentralen können in solchen Fällen rechtliche Fragen beantworten.

Ein guter erster Schritt ist, Beweise zu sichern, also Screenshots, E-Mails oder Bescheide aufzubewahren. So lässt sich besser einschätzen, welche Daten vielleicht zu einer diskriminierenden Entscheidung geführt haben könnten. Jede Meldung zählt, weil wir dadurch besser Muster erkennen können, beispielsweise in welchen Branchen häufiger von Diskriminierung berichtet wird. Mit dokumentierten Fällen können wir Druck auf Unternehmen und die Politik ausüben, um Veränderungen herbeizuführen. Kurz gesagt: Das Melden diskriminierender Entscheidungen von Algorithmen hilft allen, die von solchen Entscheidungen betroffen sind.

3) Wie gut ist Diskriminierung durch KI aktuell rechtlich geregelt?

In Deutschland gilt das Allgemeine Gleichbehandlungsgesetz (AGG), das vor direkter und indirekter Diskriminierung etwa aufgrund von Herkunft, Geschlecht, Religion oder Behinderung schützt. Bereits seit das AGG 2006 in Kraft trat, sind Mängel des Gesetzes bekannt, es schützt zum Beispiel nicht vor staatlicher oder behördlicher Diskriminierung. Viele Organisationen, darunter AlgorithmWatch, fordern einen besseren Schutz, zum Beispiel indem Schutzmaßnahmen aus anderen europäischen Gleichbehandlungsgesetzen aufgegriffen werden.

Auf europäischer Ebene legt die neue KI-Verordnung (AI Act) klare Regeln für den Einsatz von KI fest. Sie verbietet besonders riskante Anwendungen wie biometrische Überwachung und verpflichtet Anbieter hochriskanter Systeme zu mehr Transparenz und Kontrollen. Wie gut diese Regeln in der Praxis funktionieren, müssen wir aber erst abwarten, da das Gesetz noch neu ist und erst angewendet werden muss.

In Deutschland soll ein Netzwerk von Aufsichtsbehörden die KI-Verordnung durchsetzen, darunter sektorspezifische Marktüberwachungsbehörden wie die BaFin, aber auch die Bundesnetzagentur und Datenschutzbehörden. Schon seit 2018 gilt zudem die Datenschutz-Grundverordnung, die verhindern soll, dass persönliche Daten zu automatisierten diskriminierenden Entscheidungen führen. Bislang können Betroffene aber oft unmöglich nachvollziehen, wie ihre persönlichen Daten eine Entscheidung beeinflusst haben.

Neben wirksamen Gesetzen würde vor allem mehr Transparenz für eine größere Nachvollziehbarkeit sorgen. Der Staat muss in den Diskriminierungsschutz investieren, indem er die öffentliche Aufsicht über KI-Systeme gut ausstattet und den Diskriminierungsschutz durch eine AGG-Reform stärkt.

Pia Sombetzki ist Senior Policy Managerin und Ansprechpartnerin bei AlgorithmWatch für Themen wie algorithmische Diskriminierung, KI- und Plattformregulierung und dem Einsatz von KI in der öffentlichen Verwaltung. Davor arbeitete sie als politische Bildnerin bei der Schwarzkopf-Stiftung Junges Europa. Pia Sombetzki hat Abschlüsse in European Studies (B.A., Maastricht University) und Sozio-kulturellen Studien (M.A., Europa-Universität Frankfurt (Oder)).

AlgorithmWatch ist eine gemeinnützige Nichtregierungsorganisation in Berlin und Zürich, die sich dafür einsetzt, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Menschenrechte und Nachhaltigkeit stärken, statt sie zu schwächen.