Predictive Policing und die Gefahr algorithmischer Diskriminierung

Ob Krankheitsdiagnosen, Finanzanalysen oder Kaufempfehlungen – algorithmische Datenverarbeitung begegnet uns heute in nahezu allen Lebensbereichen. Auch in der Polizeiarbeit werden in Deutschland seit 2014 Algorithmen zur Früherkennung von Straftaten eingesetzt. Häufig geht es dabei um die Identifikation von Gebieten, in denen die Wahrscheinlichkeit von künftigen Kfz-Diebstählen sowie Wohnungs- und Gewerbeeinbrüche hoch zu sein scheint. Gleichwohl unterstützen vorläufig auch „intelligente Videoüberwachungssysteme“ wie am Bahnhof Berlin-Südkreuz die polizeiliche Gefahrenabwehr. Es handelt sich um sogenanntes Predictive Policing. 

Wie funktioniert Predictive Policing?

Predictive Policing ist ein automatisiertes Verfahren zur Unterstützung polizeilicher Gefahrenabwehr, bei dem eine Software eingesetzt wird, welche auf Grundlage vorhandener Daten eine Prognose über die künftige Gefahren abgeben sollen. Hierfür wird mithilfe von Datenbeständen aus vergangener Polizeiarbeit (sog. Trainingsdaten), ein Muster aus gefahrindizierenden Merkmalen kreiert. Dies erfolgt hauptsächlich durch Lernalgorithmen, die für das Erkennen von Mustern und Generieren von Lösungen verantwortlich sind. Ist das Muster erstellt, wird es auf vorhandene Daten der Polizei, wie zum Beispiel Geodaten oder Verkehrsinformationen, angewandt. Aufgrund des vorangegangenen Trainings ist die Software schließlich in der Lage, Wahrscheinlichkeitsurteile über bevorstehende Schadensereignisse zu produzieren.

So weit, so gut. Bis hierhin klingt Predictive Policing also unproblematisch und ziemlich effektiv. Vor allem aber bewirkt allein das Vorhersagen künftigen Verhaltens noch keine Grundrechtsverletzung.   

Doch wo liegt das Problem?

Bei der Verwendung von Algorithmen in der Straftatenvorsorge gibt es mehrere Problempunkte, die zu verzerrten Ermittlungen oder Diskrimierungen von Personen führen können. 

Eines dieser Probleme ist die Manipulierbarkeit des gespeicherten Wissens und des erstellten Musters. Bereits im Stadium des maschinellen Lernens kann die Polizei entscheiden, welche Trainingsdaten dem Algorithmus zugeführt werden. So können Daten zur ethnischen Herkunft, politischen Meinung oder religiösen Überzeugung Gegenstand eines gefahrindizierenden Merkmals sein. In diesem Fall würden Diskriminierungsmerkmale bewusst in die Software eingeschrieben und später Grundlage polizeilicher Maßnahmen werden. Eine derart unmittelbare Diskrimierung scheint allerdings eher unwahrscheinlich, viel wahrscheinlicher und problematischer ist die Gefahr mittelbaren Diskriminierung. 

Mittelbare Diskriminierung und die Verstärkung von rassistischen Vorurteilen, sowie sozialen Ungleichheiten 

Bei der mittelbaren Diskriminierung durch Algorithmen werden Wertannahmen nicht bewusst, allerdings unbewusst in die Technik eingeschrieben und durch den Einsatz dieser Technik verstärkt. Das kann zum Beispiel daran liegen, dass existierende Datensätze aus der Vergangenheit strukturelle Defizite enthalten. Dazu folgendes Exempel: Immer wieder wird beklagt, dass in den USA aufgrund von Vorurteilen in Polizei und Justiz häufiger gegen Arme und Schwarze ermittelt wird, sodass Personen dieser Gruppen auch überproportional häufig bestraft werden. Folge ist eine Überrepräsentation in den Akten – werden diese Datenbestände nun zum Training eines Musters genutzt, wird die Diskriminierung von ohnehin benachteiligten Bevölkerungsgruppen  festgeschrieben und fortgesetzt. Das Muster wird bei seinen zukünftigen Prognosen weiterhin nur die bisherigen Verdächtigten reproduzieren – mit dem Unterschied, dass aufgrund der verwendeten Technik die Diskriminierung nicht mehr sichtbar ist. Soziale Ungleichheiten und rassistische Vorurteile werden so in die Legitimität der Wissenschaft eingehüllt und aufrechterhalten.

Algorithmen als Black Boxes 

Ein weiteres Problem bei der Verwendung von Predictive Policing-Softwares ist, dass Algorithmen im Laufe ihrer Verwendung einer Eigendynamik unterliegen und sich stetig selbst verändern, sobald sie mit neuen Informationen gefüttert werden. Dies führt zu einer Komplexität, die die Vorhersehbarkeit und Darstellbarkeit von algorithmischen Entscheidungsprozessen unmöglich macht. Die Software wird damit zu einer Art Black Box, bei der innere Abläufe intransparent bleiben. Bei einer derartigen Intransparenz sind Diskriminierungen beim Produzieren von Ergebnissen nur schwer bzw. kaum erkennbar, da nicht nachzuvollziehen ist, welche Merkmale der Algorithmus zur Berechnung eines Ergebnisses verwendet. Erst nachdem eine Vielzahl von Fällen durch einen Algorithmus bearbeitet wurde, können Diskriminierung bemerkbar werden. So auch bei der Software Campus, die in den USA zur Prognose des Rückfallrisikos von Straftäter*innen eingesetzt wurde. Dabei stellte sich nach einiger Zeit heraus, dass die Software schwarzen Täter*innen eher zutraute, zukünftig straffällig zu werden. Dies geschah obwohl die Hautfarbe nicht von vornherein als Merkmal in das Muster eingeschrieben wurde. Auch hier verschwand also die Sichtbarkeit von Diskrimierungen durch den Eindruck einer vermeintlich objektiven und neutralen Software. 

Weitere Herausforderungen  

Die angeschnittenen Bereiche, sind nur einige der Herausforderungen und Gefahren, die das Arbeiten mit Predictive Policing-Softwares mit sich bringen kann. Grundrechtliche Relevanz besitzt zum Beispiel ebenfalls die Frage, welche Daten überhaupt zum Abgleich mit Mustern verwendet werden dürfen. Die Einbeziehung aller technisch verfügbaren Daten in Form einer Totalüberwachung, die Erstellung umfassender Persönlichkeitsprofile oder anlasslose Massenüberwachungen zur Gesichtserkennung würden das Recht auf informationelle Selbstbestimmung aus Art. 1 Absatz 1 i.V.m. Art 2 Absatz 1 GG tangieren.

Die Zukunft von Algorithmen in der Polizeiarbeit

Erst im Februar wurde auf dem 22. Europäischen Polizeikongress in Berlin die KI-basierte Software „Terror Cell Identification“ (TCI) vorgestellt, welche Radikalisierungsverläufe bei Terrorverdächtigen berechnen soll. In Rede stand auch der Einsatz von prädikativen Softwares in Bereichen organisierter Kriminalität und schwerer Straftaten. In Anbetracht dieser Diskussionen ist der vorliegende Beitrag kein Plädoyer gegen die Nutzung moderner Techniken zur Unterstützung von Polizeiarbeit. Allerdings sollte ein verantwortungsbewusster und vor allem transparenter Umgang mit Algorithmen in der Straftatenvorsorge gepflegt werden. Polizeistellen sollten erstens der Öffentlichkeit mitteilen, welche prädikativen Systeme sie verwenden, zweitens welche Daten Gegenstand der Analysen sind, drittens die produzierten Ergebnisse stets evaluieren, um Diskriminierungen zu bekämpfen. Darüber hinaus sollten bereits bei der Entwicklung von Predictive Policing-Projekten verschiedene Akteur*innen, wie Datenschützer*innen und Menschenrechtler*innen einbezogen werden, um Rechte und Interessen der Bevölkerung zu wahren.

US-Supreme Court entscheidet für die Menschenrechte: Internationale Organisationen sind nicht länger durch absolute Immunität geschützt
Was tun gegen Diskriminierung an Schulen? Zu den Schwierigkeiten für Schülerin*innen, zu ihrem Recht zu kommen