Wollen wir, vor Gericht stehend, dass Algorithmen Richter dabei unterstützen, unser Risiko für eine Rückfälligkeit einzuschätzen? In welchem Kontext und in welchem Maß können algorithmische Entscheidungssysteme (ADM) staatliche Prozesse unterstützen und wie ist deren Einsatz zu gestalten? Im Projekt FairAndGoodADM", gefördert vom Bundesministerium für Bildung und Forschung (BMBF), haben Forschende der TU Kaiserslautern (TUK) im interdisziplinären Verbund den Einsatz von ADM-Systemen durch den Staat untersucht und hierfür Leitlinien formuliert.

Algorithmische Entscheidungssysteme werden anhand von bestehenden Daten trainiert, um konkrete Vorhersagen zu treffen", erklärt Prof. Dr. Georg Wenzelburger, Politikwissenschaftler an der TUK. Doch wie ist es um die Qualität einer algorithmischen Entscheidung bestellt, wie lassen sich Fairness bzw. Diskriminierung aus technischer sowie gesellschaftlich-ethischer Sicht bewerten und welche Folgen ergeben sich daraus für die Governance? Unter anderem diesen Fragen sind wir im Rahmen von FairAndGoodADM nachgegangen." Neben Wenzelburger waren federführend Prof. Dr. Katarina Zweig (Informatik) und Prof. Dr. Karen Joisten (Philosophie) in das Projekt eingebunden. Alle drei engagieren sich am Center for Ethics and the Digital Society (CEDIS) der TUK. Analysiert hatten die Forschenden zuvor sowohl die mathematischen Grundlagen für Fairness- und Qualitätsmaße als auch konkrete Fallbeispiele von bereits eingesetzten ADM-Systemen, die sich auf die Lebenschancen von Menschen auswirken.

Einsatz kritisch hinterfragen
Beim Abschluss-Symposium am 19. Januar 2021 hat das Team die Projektergebnisse vorgestellt und mit Expert*innen aus Politik, Wirtschaft, Wissenschaft und nichtstaatlichen Organisationen diskutiert. Generell raten die Forschenden, den Einsatz von ADM-Systemen vorab kritisch aus allen Perspektiven zu hinterfragen und dabei die sowohl technische Ausgestaltung als auch die Implementierungsprozesse auch durch ein unabhängiges Expertengremium bewerten zu lassen. Wenzelburger fasst zusammen: Aus unserer Sicht sollten sich staatliche Akteure vor dem Einsatz von ADM-Systemen vier zentralen Fragen stellen: Gibt es rechtliche, technische oder ethische Gründe, die dem Einsatz eines ADM-Systems grundsätzlich entgegenstehen? Wie soll das System im spezifischen Kontext eingesetzt werden und welche Maßnahmen zur Kontrolle oder Regulierung sind dann notwendig? Passt das technische Design zum Ziel, für das das System eingesetzt werden soll? Und abschließend: Wie wirkt sich das ADM-System in der Praxis auf den Entscheidungsprozess aus, wenn es zur Mensch-Maschine-Interaktion kommt?"
Ein Beispiel, das den Einfluss eines ADM-basierten Entscheidungssystems eindrucksvoll veranschaulicht, lieferte Prof. Dr. Michael Wagner-Pinter von der Synthesis Forschung G.m.b.H mit seiner Keynote. Wagner-Pinter hatte im Auftrag des österreichischen Arbeitsmarktservice ein ADM-System entwickelt, welches die Arbeitsmarktchancen von arbeitssuchenden Personen berechnet. Das Ziel bestand darin, die Berater*innen bei der Zuweisung von Fördermaßnahmen für arbeitssuchende Personen zu unterstützen und somit eine möglichst rasche Reintegration in den Arbeitsmarkt zu ermöglichen. Wagner-Pinter erläuterte vor diesem Hintergrund, den Entwicklungsprozess des ADM-Systems und ging auf Fragen des technischen Designs ein. Daneben diskutierte er, welche Schwierigkeiten bei der externen Evaluation solcher Systeme auftreten können.

Regulieren ja, aber wie stark?
In zwei Diskussionsrunden stellten die TUK-Forschenden die Leitlinien sowie das durch Prof. Wagner-Pinter geschilderte Anwendungsszenario zur Diskussion. Im ersten Roundtable tauschten sich Carla Hustedt (Bertelsmann-Stiftung), Dr. Pascal König (TUK) und Dr. Hannah Ruschemeier (Center for Advanced Internet Studies, CAIS) unter anderem darüber aus, inwieweit einerseits die von Wenzelburger vorgeschlagenen rechtlichen, ethischen und technischen Grenzen als rote Linien in die Grundsatzentscheidung ob oder ob nicht" einfließen sollten und andererseits freier Raum zum Ausprobieren bestehen sollte.
Der zweite Roundtable war besetzt mit Prof. Zweig aus dem Projektteam sowie Marco-Alexander Breit (BMWi), Saskia Esken (MdB, SPD), Dr. Stefan Heumann (Stiftung Neue Verantwortung) und Tabea Rößner (MdB, Grüne). Aus wirtschaftlicher Sicht appellierte Breit an die Runde, regulative Hürden nicht zu hoch zu bauen – das innovationsfreundliche Klima müsse erhalten bleiben. Er sprach sich für ein zweistufiges Konzept aus: Grundsätzliche Spielregeln für alle Projekte; eine nachfolgende umfassendere Regulierung sollte sich am spezifischen Risiko bzw. der Eingriffstiefe in die Lebenschancen orientieren. Dabei fand er Zustimmung in der Runde. Auch eine mögliche Instanz des ADM-TÜV" wurde kritisch diskutiert. Esken appellierte, den Begriff TÜV" nicht zu wörtlich zu nehmen: Es gehe nicht rein um eine technische Endabnahme, sondern vielmehr auch um die Einbeziehung der Zivilgesellschaft in einen demokratischen Prozess. Im Gespräch mit Dr. Stefan Heumann konkretisierte Zweig den Apell. Beide waren sich einig, dass es eine Instanz benötige, die Strukturen für einen gesellschaftlichen Diskurs schafft.
Mit den Leitlinien aus FairAndGoodADM" sind nun erste Empfehlungen für die Vorbereitung einer Nutzung von ADM-Systemen in staatlichen Entscheidungsprozessen veröffentlicht. Dass in einem solchen Prozess eine interdisziplinäre Evaluation des Systems vor dessen Einsatz notwendig ist – darin waren sich alle Beteiligten des Abschluss-Symposiums einig.