Roboterrichter_Verbraucherrechtstag_BMJV_KI_Moeller

Black Box und Roboterrichter – ein Bericht vom Verbraucherrechtstag des BMJV zum Thema KI

Der Verbraucherrechtstag des Bundesministeriums für Justiz und Verbraucherschutz am 12.07.2021 stand unter dem Thema „Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige Verwendung in Deutschland und Europa?“ (> Programm). Der folgende Bericht gibt einen kurzen Überblick über dort diskutierte Themen, die aktuell Wissenschaft und Praxis zum Thema der KI-Regulierung bewegen.

Vorab: Was sind KI-Systeme?

Zu Beginn der Veranstaltung wurde notwendigerweise zunächst der Begriff KI (kurz für Künstliche Intelligenz) eingegrenzt. Wenn im Folgenden daher von KI oder KI-Systemen die Rede ist, sind damit Systeme zur automatischen Entscheidungsfindung (engl. Automated Decision-Making, kurz ADM) gemeint. ADM-Systeme entscheiden üblicherweise durch einen Algorithmus, welcher zuvor mit Trainingsdaten „angelernt“ wurde. Der Algorithmus erzeugt dann zu einem Input im konkreten Anwendungsfall einen Output. Dieser Prozess lässt sich – stark vereinfach – auf die Formel „Input x Algorithmus = Output“ reduzieren, wobei der Input der konkrete Sachverhalt und der Output die Entscheidung ist. Dadurch, dass der Algorithmus meist mit einer großen Menge an Trainingsdaten trainiert wurde, kann er häufig schneller, objektiver und konsequenter eine Entscheidung fällen als ein Mensch. Dies ist zumindest die Hoffnung derjenigen, welche ADM-Systeme einsetzen oder dies zukünftig beabsichtigten. Zum Beispiel kann eine Bank einen Algorithmus mit Trainingsdaten aus ihrer Kreditvergabehistorie trainieren, um mit diesem im konkreten Fall eine Entscheidung über die Wahrscheinlichkeit zu fällen, ob ein Kunde einen Kredit zurückzahlen kann oder nicht. Dies könnte dann unmittelbar beeinflussen, ob der Kunde einen Kredit erhält oder nicht.

KI schon jetzt im Verbraucheralltag allgegenwertig

Dass es sich dabei nicht um reine Zukunftsmusik handelt, sondern ADM schon zum jetzigen Zeitpunkt in verschiedenen Szenarien Teil des Verbraucheralltags ist, verdeutlicht zu Beginn der Tagung Matthias Spielkamp von der gemeinnützigen Organisation AlgorithmWatch an verschiedenen Beispielen. So bestimmten Algorithmen bereits jetzt die Empfehlungen, welche Produkte unseren Einkauf im Online-Versandhandel angeblich am besten ergänzen, welche Filme, Serien oder Musik auf Streaming-Plattformen vermeintlich unseren Geschmack treffen und, wie Medienberichte aus den USA jüngst zeigten, sogar zur Kündigung von Arbeitsverhältnissen führen. Doch bringe die Technologie auch Schwierigkeiten mit sich. Beispielsweise bestehen aufseiten der Unternehmen häufig aufgrund von Netzwerk- und Skaleneffekten Oligo- oder Monopole und parallel Informationsdefizite der Verbraucherinnen und Verbraucher.

KI als „Black-Box“ oder das Problem der mangelnden Transparenz

Während Verbraucherinnen und Verbraucher den Input, im Beispiel des Kreditwürdigkeitsalgorithmus also Alter, Wohnadresse, Beschäftigung, Einkommen usw., und das Ergebnis der Entscheidung grundsätzlich noch überblicken können, bleibt der eigentliche Entscheidungsfindungsprozess durch den Algorithmus größtenteils im Dunkeln. Diese „Black-Box“ stellt den Gesetzgeber vor erhebliche Herausforderungen. Wie im Vortrag von Prof. Ruth Janal von der Universität Bayreuth deutlich wurde, gilt es dabei das Interesse der Verbraucherinnen und Verbraucher an der Transparenz und Erklärbarkeit einer durch eine KI getroffenen Entscheidung mit Geheimhaltungsinteressen der einsetzenden Unternehmen an deren Know-How zu balancieren.

Neben rechtlichen Hürden gibt es dabei jedoch auch rein faktische Hindernisse. Prof. Ulrike von Luxburg von der Universität Tübingen wies in diesem Zusammenhang darauf hin, dass Algorithmen regelmäßig anhand von Trainingsdaten ihre Vorhersagefunktion selbst bestimmen und diese für Menschen zumeist nicht nachvollziehbar sei. Daher könne es sein, dass Unternehmen, welche einen Algorithmus einsetzen, dessen genaue Funktionsweise nicht offenlegen können, da sie diese schlicht selbst nicht abschließend kennen.

Daneben würde KI gezielt eingesetzt, um Transparenz an anderer Stelle zu verhindern. Durch sogenannte Dark Patterns, also manipulative Designs von Benutzeroberflächen, werde versucht Verbraucherinnen und Verbraucher gezielt zu beeinflussen, so Prof. Anne Lauber-Rönsberg von der Technischen Universität Dresden. Hierbei setzen Unternehmen gesammelte Daten ein, um durch Algorithmen ein Design von Webseiten und Applikationen zu erzeugen, welches die Nutzer zu einem bestimmten, in der Regel für sie nachteiligen, Verhalten verleiten soll. Schwierig sei in diesem Zusammenhang die Abgrenzung von noch zumutbaren Beeinflussungsversuchen und regulierungsbedürftigen Manipulationsversuchen.

Diskriminierung durch KI-Systeme

Eine große Rolle nahm die Thematik von möglicher Diskriminierung durch Algorithmen ein. Wie oben bereits dargestellt, kommt den Trainingsdaten eine große Bedeutung für die späteren Entscheidungen durch die KI zu. Da diese Daten aber häufig historisch sind, können einer KI durch unreflektierte Verwendung der Daten benachteiligende Entscheidungsmuster „antrainiert“ werden.

Prof. Sandra Wachter von der Universität Oxford vertrat die These, dass, solange historische Daten für das Training genutzt werden, durch Algorithmen getroffene Entscheidungen häufig unfair seien.“ Dies sei am Beispiel eines Algorithmus deutlich geworden, welchen Amazon 2018 zur Einstellung neuer Mitarbeiter nutzte. Da die Belegschaft in der Vergangenheit überwiegend männlich gewesen sei, habe der der Algorithmus daraufhin Frauen konsequent aus dem Bewerbungsverfahren entfernt. Mögliche Diskriminierungen durch Algorithmen werfen außerdem zwei weitere Probleme auf. Einerseits sei solche Diskriminierung für Verbraucherinnen und Verbraucher bereits erheblich schwieriger zu erkennen. Bereits jetzt seien beispielsweise die meisten Nutzererfahrungen auf Social-Media-Plattformen und Online-Shops auf den einzelnen Benutzer maßgeschneidert, ohne, dass dieser Umstand diesem bewusst sei. Andererseits seien die Diskriminierungen schwerer nachzuweisen, da die Entscheidungsprozesse nicht zugänglich seien. Während Formen der unmittelbaren Diskriminierung, also z.B. solche aufgrund von Geschlecht oder Religionszugehörigkeit, noch verhältnismäßig einfach erkennbar sein können, bestehe das Risiko, dass mittelbare Diskriminierungen durch eine KI subtiler erfolge. Eine mittelbare Diskriminierung liegt vor, wenn dem Anschein nach neutrale Kriterien zu einer Benachteiligung führen. Bevorzugt eine KI Bewerber aufgrund ihrer Körpergröße, ist das Kriterium zwar für sich genommen neutral, führt aber aufgrund der Tatsache, dass Männer im Durchschnitt größer als Frauen sind, zu einer mittelbaren Diskriminierung. Häufig liegen die Zusammenhänge bei Entscheidungen durch KI-Systeme, anders als bei einer menschlichen Entscheidung, nicht ohne Weiteres auf der Hand.

Datenschutz und „gute“ Daten

Bevor wir also einen Algorithmus nutzen, müssen wir uns laut Prof. Ziawasch Abedjan von der Leibniz Universität Hannover aus einer sozio-technischen Perspektive fragen, welche Daten wir einsetzen, welche Kriterien wir zulassen und welche Fehler wird gewillt sind hinzunehmen.

Nach Prof. Philipp Hacker von der Europa-Universität Viadrina Frankfurt (Oder) sei die KI-Regulierung durch die KI-Verordnung der Europäischen Union bereits auf dem richtigen Weg, indem sie insbesondere Vorgaben zur Richtigkeit und Vollständigkeit, Balance sowie Repräsentativität der Trainingsdatensätze mache. Es sei jedoch noch weiteres Feintuning erforderlich. Zudem dürfe man bei aller Regulierung nicht das Ziel aus den Augen verlieren in Europa eigene performativ hochwertige KI-Systeme zu entwickeln. Dies könne möglicherweise durch einen „better than human equivalent“-Einwands erreicht werden. Nach diesem Ansatz solle über gewisse Fehler eines KI-Systems hinweggesehen werden, soweit das Ergebnis des Algorithmus der menschlichen Performanz insgesamt überlegen sei.

Prof. Gerrit Hornung von der Universität Kassel beleuchtete die Frage nach den Rechten derjenigen Personen, welche die Trainingsdaten liefern. So biete die EU-Datenschutz-Grundverordnung erste Anhaltspunkte für Betroffene, indem sie durch ihre Informationspflichten für verantwortliche Stellen Transparenz über die Änderung eines Verarbeitungszwecks, also den Einsatz von beispielsweise ursprünglich zu anderen Zwecken erhobenen Daten zu Trainingszwecken, schaffe. Zudem ergebe sich unter Umständen aus der DSGVO ein Ansatz, um einen Einblick in die später zur Entscheidungsfindung eingesetzten Logik zu erhalten. Spätestens dort, wo die Daten keinen Personenbezug aufweisen, sei das bisheriger Datenschutzrecht aber unzulänglich. Die Regelung zu Trainingsdaten im Entwurf der EU-KI-Verordnung seien aber ein Schritt in die richtige Richtung zur Regulierung von Trainingsdaten.

Anwendungsfall: KI-Systeme in der Justiz

Als einen von vielen Anwendungsfällen stellte Prof. Giesela Rühl von der Humboldt-Universität zu Berlin den Einsatz von KI in der Justiz, insbesondere zur Durchsetzung von Verbraucherrechten, vor. Anders als in Estland, wo teilweise schon „Roboterrichter“ über Streitwerte von bis zu 7.000,00 EUR entscheiden, sei der Einsatz von KI-Systemen in der deutschen Ziviljustiz bisher kaum relevant. Dabei setzen Legal-Tech-Start-Ups, gerade wenn es um die Durchsetzung von Verbraucherrechten, wie beispielsweise Fluggastrechten, gehe, vermehrt auf Algorithmen zur Rechtsdurchsetzung. Als  potenzielle Einsatzmöglichkeiten im Bereich der Ziviljustiz komme insbesondere die Dokumentenanalyse, die Dokumentenerstellung und die Entscheidungsvorhersage durch statistische Auswertung von Urteilen in Betracht. Bereits jetzt sage der Algorithmus „Lex Machina“ den Ausgang von US-amerikanischen Patentstreitigkeiten auf Basis von Metadaten mit einer erheblich höheren Genauigkeit voraus als eine Vergleichsgruppe aus erfahrenen US-Wirtschaftsanwälten. Bis KI-Systeme in der deutschen Justiz zum Einsatz kommen gelte es aber noch diverse Herausforderungen zu bewältigen. So fehle aktuell häufig bereits der Zugang zu Urteilen und an einer entsprechenden Maschinenlesbarkeit dieser. Schließlich sei auch das Spannungsfeld mit den verfassungsrechtlichen Maximen des Justizgewährungsanspruchs und des Anspruchs auf rechtliches Gehör ungeklärt.

Internationale Herausforderungen und verbraucherrechtliche Praxis

Eine weitere spannende Perspektive brachte Prof. Kai von Lewinski von der Universität Passau ein: staatliche Regelungen zur KI seien bisher territorial, wohingegen KI, wie alles Digitale, potenziell ubiquitär sei. Dafür gebe es grundsätzlich verschiedene Lösungsansätze, die von Abschottung über den Export eigener Konzepte bis hin zu universellen Standards oder kollisionsrechtlichen Lösungen gingen. Einer weltweiten Lösung bereiten dabei schon die verschiedenen kulturellen Aspekte Schwierigkeiten. Beispielsweise seien Social-Credit-Systeme in China weitestgehend akzeptiert, wohingegen zumindest in Europa und Nord-Amerika erhebliche Bedenken gegen diese bestehen.

Kate Brand von der Competition and Markets Authority aus Großbritannien gab einen Überblick über die aktuellen Fälle, in welchen Verbraucherinnen und Verbrauchern in Großbritannien durch Algorithmen Nachteile entstehen. Beispielsweise werden durch maßgeschneiderte Rabatte und Werbeaktionen „durch die Hintertür“ personalisierte Preise eingeführt, indem nur preissensitive Kunden überhaupt solche Rabatte erhalten. Auch werde durch manipulierte Suchrankings je nach Verbraucher unterschiedliche Produkte an oberste Stelle empfohlen.

Prof. Caroline Meller-Hannich von der Martin-Luther-Universität Halle-Wittenberg ging der Frage nach, ob ein Verbandsklagerecht für Verbraucherverbände geeignet sei, um gegen verbrauchergefährdende KI vorzugehen. Zwar sehe die neue EU-Verbandsklagen-Richtlinie eine Ausweitung der Handlungsoptionen für Verbraucherverbände vor, jedoch fehle es bisher insbesondere an verbraucherrechtlichen materiellen Ansprüchen. Immerhin sehe die Richtlinie aber eine Erleichterung bei der Offenlegung von Beweismitteln vor.

Standardisierung und Zertifizierung als Regulierungsmittel

Der Entwurf der EU-KI-VO sieht insbesondere die Regulierung von sogenannten Hochrisiko-KI-Systemen vor. Bei Erfüllung gewisser Standards soll eine Konformitätsvermutung, also die Vermutung, dass die KI damit auch die Anforderungen der VO erfüllt, greifen. Die entsprechenden Normen und Standards werden, laut Dr. Tarek Besold von DEKRA DIGITAL, bereits auf nationaler, europäischer und internationaler Ebene entwickelt. Schwierig sei dabei, dass die Technologie sich stetig weiterentwickelt werde. Außerdem sei die Standardisierung häufig stärker auf technische denn auf ethische und gesellschaftliche Fragen fokussiert.

Nach Leonie Beining von der Stiftung Neue Verantwortung seien Standardisierung und Zertifizierung grundsätzlich geeignet, das Vertrauen von Verbraucherinnen und Verbrauchern in KI-Systeme zu stärken. Sie gibt jedoch zu bedenken, dass es, trotz der großen Teilhabe- und Verbrauchschutzrelevanz von KI, für einige gesellschaftliche Gruppen de facto sehr schwierig sei, sich adäquat an den entsprechenden Verfahren zu beteiligen. Schließlich sei bisher auch keine unabhängige Überprüfung von Anbieterunternehmen vorgesehen, sodass eine Marktüberwachung durch Behörden umso wichtiger sei.

Neben den klassischen Anforderungen an KI und Daten dürfen laut Dr. Lucia Sommerer von der Georg-August-Universität Göttingen auch Nachhaltigkeitsfaktoren bei der Standardisierung nicht aus den Augen verloren werden. Zum einen beträfe dies aufgrund des hohen Energieverbrauchs von KI-Systemen die Umwelt. Zum anderen dürfe aber auch die menschliche Expertise durch den Einsatz von KI nicht verloren gehen. Eine solche Entwicklung sei in Bereichen der Medizin bereits beobachtet worden.

Fazit

Der Verbraucherrechtstag des BMJV zum Thema KI hätte mit seiner großen Zahl hochkarätiger Referentinnen und Referenten ohne Weiteres zwei Tage füllen können. Aufgrund dessen und der Tatsache, dass einige Veranstaltungen parallel verliefen, kann in diesem Beitrag leider nicht auf alle Vorträge eingegangen werden.

Die Vielfalt der rechtlichen Ansatzpunkte, wie dem Schutz vor Diskriminierung, der Schaffung von Transparenz und Nachvollziehbarkeit der Entscheidungen, der Beachtung des Datenschutzes bei der Nutzung von Trainingsdaten und die möglichen prozessualen Hindernisse der Rechtsdurchsetzung haben zumindest einen ersten Eindruck davon vermittelt, dass der rechtliche Umgang mit KI-Systemen noch ganz am Anfang steht, aber bereits jetzt verschiedenste Rechtsdisziplinen verbindet. Bisher lassen sich dabei vor allem Herausforderungen definieren und Regulierungswünsche äußern. Der Entwurf der EU-KI-VO ist in dieser Hinsicht ein großer Hoffnungsträger, aber es bleibt abzuwarten, ob die Verordnung die Erwartungen erfüllen kann. Sollten KI-Systeme den disruptiven Effekt auf unseren Alltag und unsere Wirtschaft haben, den man ihnen zuschreibt, wird man davon ausgehen können, dass nur wenige rechtliche Gebiete von Fragen zur KI unberührt bleiben.

Autor: Carl Christoph Möller ist Rechtsassessor und als Referent für Datenschutz und Datensicherheit bei der Verbraucherzentrale NRW in Düsseldorf tätig.

Share on facebook
Share on twitter
Share on linkedin
Share on whatsapp
Share on email