Programmierte Ungleichheit

Überraschend strich Bundesinnenminister Horst Seehofer (CSU) im Januar einen umstrittenen Gesetzesentwurf zur biometrischen Gesichtserkennung an 135 Bahnhöfen und 14 Flughäfen deutschlandweit - es seien »Fragen offen geblieben«. Doch an der Ausweitung verschiedener Überwachungsinstrumente soll festgehalten werden. Und die Zahl der mutmaßlichen Straftäter, die in Deutschland mit Gesichtserkennungssystemen über Algorithmen identifiziert werden, steigt stetig an.

Dass Algorithmen aber alles andere als eindeutig funktionieren, zeigen viele Beispiele vor allem aus den USA. Im Jahr 2009 verbreitete sich rasend schnell das Video zweier Arbeitskolleg*innen, die sichtlich irritiert mit der Webcam einer renommierten Techfirma rangen. Die Gesichtserkennung konnte nur eine von beiden Personen erkennen, und zwar die weiße, nicht aber die Schwarze. Seifenspender geben in manchen Fällen Flüssigkeit nur an weiße Hände ab, und eine Software markierte einst das Foto eines Schwarzen Mannes als »Gorilla«. Diese und viele andere Beispiele einer algorithmischen Nicht- oder Fehlidentifizierung veranschaulichen, wie Algorithmen gesellschaftlich informiert sind: Sie operieren mit rassistischen und diskriminierenden Vorannahmen.

Dieser Umstand wird in der Literatur als algorithmic bias bezeichnet, algorithmische Voreingenommenheit. Aus den USA sind inzwischen viele solcher Fälle bekannt - aus dem Gesundheits- und Kreditsektor, dem Gerichtssaal und der Polizeiarbeit. Sie werden verhandelt, und das kann zuweilen dazu führen, dass diese Missstände korrigiert werden. Doch auch in Deutschland spielt algorithmic bias eine Rolle, und zwar eine größere als auf den ersten Blick zu vermuten wäre.

1995 wurde in Bayern, später in fast allen Bundesländern, die Schleierfahndung eingeführt - als Ersatz für EU-Grenzen, die trotz Öffnung weiterhin geschützt bleiben sollten. Damit war zunächst »nur« die verdachtsunabhängige Kontrolle einreisender Personen legitimiert. Inzwischen kann bei Verdacht auf Gefahr nicht nur von der Bundespolizei, sondern auch von der Landespolizei kontrolliert werden. Und wie diese Kontrollen im konkreten Fall ablaufen, lässt sich leicht erraten. Wessen äußerliche Erscheinung nach Meinung der jeweiligen Polizist*innen als »verdächtig« oder »gefährlich« gilt, wird kontrolliert. Im Gesetz so nicht verankert, wird das in der Praxis schnell zum rechtswidrigen racial profiling. Nicht-weiße Menschen müssen sich dadurch willkürlich überprüfen lassen und zu erkennen geben. Heute spielt sich diese Praxis noch auf weiteren Ebenen ab: Zusammen mit anderen Sicherheitsbehörden setzt die Polizei zum Beispiel Software zur Terrorbekämpfung oder zur Prävention von Verbrechen ein, letzteres nennt sich predictive policing (dt. vorausschauende Überwachung). Dabei werden durch Algorithmen gefährliche Gebiete ermittelt und die Wahrscheinlichkeit von Verbrechen vorhergesagt. Die Polizei möchte so unter anderem gezielter ihre Kräfte einsetzen. Die Einsätze in den identifizierten Gefahrenzonen fließen wiederum in zukünftige Prognosen ein. So birgt diese Methode auch die Gefahr, sich zu einer selbsterfüllenden Prophezeiung zu verselbstständigen. Das zeigt eine in den USA eingesetzte Software: Anstatt Empfehlungen aufgrund von Kriminalitätsraten auszusprechen, wurde die Polizei in Viertel geschickt, wo überwiegend marginalisierte Bevölkerungsgruppen lebten. So werden bestimmte Gruppen stetig überwacht und registriert, während andere unbehelligt bleiben.

Die Erklärung dafür ist nicht, dass Algorithmen sich verselbstständigen, sondern dass diejenigen, die diese Werkzeuge entwickeln, systembedingten Rassismus nicht ausreichend in ihre Berechnungen einbeziehen. Auf diese Weise entsteht eine Art programmierte Ungleichheit. Diese geht vor allem auf Kosten jener Personen, die ohnehin überproportional im Visier der Staatsbehörden stehen: arme, kranke, migrantische und nicht-weiße Menschen. Ein Pilotprojekt am Berliner Bahnhof Südkreuz aus dem Jahr 2017, bei dem eine Gesichtserkennungssoftware 300 freiwillige Testpersonen überprüfen sollte, ergab, dass das System zu viele Menschen als verdächtig markierte, nach denen es gar nicht gefahndet hatte. Besonders betroffen von schlechter Gesichtserkennung waren dabei Frauen und nicht-weiße Personen.

Wird hierzulande über Algorithmen berichtet, erscheinen diese oftmals als »Black Boxes«: allgegenwärtig, dominierend und undurchschaubar. Zur Sorge um die »Allmacht« von Algorithmen gesellt sich der hoffnungsvolle Mythos ihrer »Neutralität« oder »Objektivität«. Doch - um mit dem Medienwissenschaftler Ian Bogost zu sprechen: »Algorithms aren’t gods« (Algorithmen sind keine Götter).

Zur Bewertung von Risiken, der Erkennung von Gesichtern und der Vorhersage von Straftaten werden Daten benötigt, die wiederum von Algorithmen verarbeitet und durchsucht, aus denen Muster gebildet werden und aus denen Algorithmen lernen können. Die meisten Nutzer*innen generieren Daten heutzutage automatisch, indem sie einfach nur ihr Smartphone benutzen, Websites besuchen, Sucheingaben eintippen, Fotos machen, über das Gerät navigieren. Durch diese Anwendungen produzieren sie Metadaten, die den Herstellern jede Menge nützliches Wissen an die Hand geben, um Informationen und damit Profit aus jeder einzelnen Person zu schlagen. Daten werden allerdings auch für verschiedenste Zwecke eigens produziert, kategorisiert, gesäubert und gefiltert. Diese Arbeit erfordert, zumindest gegenwärtig, die Fähigkeiten und vor allem die Arbeitskraft von Menschen. Denn sie sind es nach wie vor, welche die Algorithmen designen und programmieren, ihnen also Form geben und Filter einschreiben, nach denen sie operieren. Voreingenommenheit kann demnach nicht nur durch die ausgewählten Datensets entstehen oder durch die Formulierung dessen, was der Algorithmus bei der Verarbeitung dieser Daten beachten soll, sondern schon im zu lösenden Problem angelegt sein.

Dazu etwas genauer: Algorithmen können als Handlungsanweisungen oder Anleitungen beschrieben werden. Indem Daten mit einem mathematischen Modell abgeglichen werden, erhält man eine Antwort auf ein mathematisches Ausgangsproblem. Es wird etwas »hineingegeben« und etwas »kommt heraus«: Das Input-Output-Modell ist die Beschreibung eines Black-Box-Systems. Der Algorithmus wird durch die kontrollierte Abfolge einzelner Schritte in einer dafür vorgesehenen Zeit ausgeführt. Auch viele der Abläufe unseres alltäglichen Lebens lassen sich so als Algorithmen modellieren, eine Morgenroutine, ein Rezept oder gar ein Polizeieinsatz. Weil sich die technischen und technologischen Möglichkeiten, die sie zur Anwendung zu bringen - vor allem die Komplexität der einzelnen Schritte und die Masse der verarbeitbaren Daten -, so drastisch verändert haben, werden Algorithmen aber als große Unbekannte wahrgenommen. Das kommt nicht von ungefähr, denn sie sind mechanisiert und laufen automatisiert, zu jeder Zeit und in einer Vielzahl von Bereichen, die unser Leben bestimmen, wie Polizeiarbeit, Gesundheit, Recht und Soziale Medien.

Und weil Rassismus nicht nur ein individuelles Problem ist, sondern ein Wissenssystem, welches sich durch die genannten Strukturen und Institutionen zieht, manifestiert sich das Paradox zwischen Nicht-Erkennung und Überkennung in algorithmic bias und daraus folgend in rassistischer Praxis. Der Seifenspender wird dann ebenso zentral im Ringen um Standpunkte und kollektive Freiheit für die Zukunft wie die möglicherweise bald implementierte Gesichtserkennungssoftware an Bahnhöfen und Flughäfen, die nicht-weiße Menschen überidentifiziert.

Solange Algorithmen auf diese Weise operieren, müssen sie aus Prozessen entfernt werden, die sich auf Einzelpersonen sozial stark benachteiligend auswirken können. In entsprechenden Fachdisziplinen wird zudem seit einiger Zeit davon gesprochen, dass das Design und die Implementierung von Algorithmen und machine learning nicht nur die Aufgabe von Programmierern sein kann, sondern dass sich kritische Geistes- und Sozialwissenschaften, Informatik und weitere Disziplinen austauschen müssen. So könnten sich etwa Trainingsdaten verändern und individuelle Voreingenommenheiten kritisch reflektiert werden.

Wir-schenken-uns-nichts

Unsere Weihnachtsaktion bringt nicht nur Lesefreude, sondern auch Wärme und Festlichkeit ins Haus. Zum dreimonatigen Probeabo gibt es ein Paar linke Socken und eine Flasche prickelnden Sekko Soziale – perfekt für eine entspannte Winterzeit. Ein Geschenk, das informiert, wärmt und das Aussteiger-Programm von EXIT-Deutschland unterstützt. Jetzt ein Wir-schenken-uns-nichts-Geschenk bestellen.