Liebe Leser:innen,
herzlich willkommen zur 100. Ausgabe des NewLawRadar! Zum Jubiläum machen wir etwas anders als sonst: Statt Euch einen Überblick über die jüngsten Entwicklungen an der Schnittstelle von Recht und Technik zu geben, wagen wir einen Blick nach vorn – ins Jahr 2050. Über welche Entwicklungen könnten wir in einigen Jahrzehnten berichten? Alle Meldungen dieser Ausgabe sind fiktiv. Die Rechtsfragen dahinter sind es nicht: Viele von ihnen werden schon heute diskutiert.
So hebt das Verwaltungsgericht München den Bescheid einer vollautomatisierten Ausländerbehörde auf, weil deren KI-System einen Härtefall beim Familiennachzug übersehen hat. Der Bundestag sieht sich mit der Frage konfrontiert, ob KI-Prognosen eine verlässliche Grundlage für Gesetze sind – zwei Jahre nachdem er auf Basis einer Simulation ein Gesetz zur intelligenten Ampelsteuerung beschlossen hat, sind die vorhergesagten Effekte ausgeblieben. Vor dem Amtsgericht Münster werden erstmals die gespeicherten Gedanken eines Angeklagten als Beweismittel herangezogen. Und in Frankfurt am Main entscheidet ein KI-System erstmals als alleiniges Schiedsgericht über einen Millionenstreit.
Wir wünschen Euch viel Freude bei dieser kleinen Zeitreise und freuen uns über Feedback an radar@recode.law – gern auch mit Euren eigenen Prognosen für die Zukunft des Rechts!
Euer recode.law-Team
Redaktion: Anna, Felicia, Jonas, Patrick, Felix
Während KI vor einigen Jahren lediglich hilfsweise für die Dokumentenprüfung und Sachverhaltsaufklärung in überlasteten Behörden eingesetzt wurde, wird sie seit Anfang dieses Jahres vom Kreisverwaltungsreferat München vollumfänglich für ihre Arbeit genutzt. Das KI-System „AURA“ prüft die für Anträge eingereichten Unterlagen, gleicht alles mit den gesetzlichen Voraussetzungen ab und erlässt innerhalb weniger Minuten einen rechtsverbindlichen Bescheid. Die Entwicklung dieser KI war ursprünglich eine Reaktion auf die jahrelange Überlastung der Ausländerbehörden. Immer wieder konnten Menschen trotz erfüllter Voraussetzungen monatelang weder einen Aufenthaltstitel noch eine Verlängerung erhalten und mussten in der Wartezeit auf mit dem Aufenthaltstitel einhergehende Ansprüche auf Geldleistungen und eine Arbeitserlaubnis verzichten. Durch den nun vollständig automatisierten Entscheidungsprozess von AURA ist die Bearbeitungszeit des KVR pro Fall von mehreren Monaten auf wenige Minuten gesunken.
Nun sorgt ein Fall vor dem Verwaltungsgericht München jedoch für Diskussion: Ein vollständig automatisiert erlassener Ablehnungsbescheid wurde aufgehoben. Das KI-System lehnte den Antrag einer Frau für den Familiennachzug ihres minderjährigen Kindes ab, weil die vorgelegten Nachweise die algorithmisch festgelegten Kriterien für einen Familiennachzug nicht vollständig erfüllten, obwohl das Aufrechterhalten der Trennung des Kindes von seiner Mutter aufgrund besonderer familiärer Umstände eine außergewöhnliche Härte begründete. Die ergänzenden Angaben hierzu waren zwar Bestandteil der eingereichten Unterlagen, wurden vom System jedoch als nicht entscheidungserheblich eingestuft. Gemäß § 35a VwVfG ist eine automatisierte behördliche Entscheidung nur zulässig, wenn eine Rechtsvorschrift sie zulässt und weder Ermessen noch ein Beurteilungsspielraum besteht. Gerade im Aufenthaltsrecht sind jedoch zahlreiche Entscheidungen von individuellen Umständen abhängig.
Das VG wies darauf hin, dass bei Entscheidungen über Familiennachzüge insbesondere Art. 6 GG und Art. 8 EMRK zu berücksichtigen seien. Dies sei im konkreten Fall nicht ausreichend geschehen. Problematisch sei insbesondere, dass die KI zwar umfangreiche Datenmengen verarbeiten und standardisierte Sachverhalte effizient beurteilen kann, die rechtliche Würdigung eines Einzelfalls aber nicht allein auf die Erfüllung vorab definierter Kriterien reduziert werden dürfe. Eine automatisierte Entscheidung, die wesentliche Gesichtspunkte unberücksichtigt lässt, könne daher nicht allein mit ihrer statistischen Genauigkeit oder der Effizienz des Verfahrens gerechtfertigt werden. Hinzu kämen Anforderungen an die Begründung des Verwaltungsakts sowie an einen wirksamen Rechtsschutz, insbesondere nach Art. 19 Abs. 4 GG.
Die vollständige Automatisierung der Verwaltung wird sich künftig vor allem daran messen lassen müssen, ob sie neben Effizienz auch rechtsstaatliche Einzelfallgerechtigkeit gewährleisten kann.
Vor genau zwei Jahren beschloss der Bundestag trotz erheblicher Kritik ein umstrittenes Gesetz zur intelligenten Ampelsteuerung, dem eine KI-Prognose zugrunde lag. Dabei wurde erstmals ein Gesetz in virtueller Umgebung getestet, bevor es verabschiedet wurde. Die künstliche Intelligenz simulierte, wie sich das entsprechende Gesetz über verschiedene Zeiträume in der Zukunft auswirken wird und prognostizierte anhand von Statistiken, früheren Studien und Daten ein entsprechendes Zukunftsszenario. Neben 30 Prozent weniger Stau und 20 Prozent weniger CO² Ausstoß, zeigte die KI-Prognose auch kürzere Wartezeiten an Kreuzungen als positiven Effekt der intelligenten Ampelsteuerung und stellte eine bessere Verkehrsplanung in Aussicht. Trotz immenser Bedenken der Sachverständigen, die eine Verschlechterung der Verkehrssituation befürchten und entgegen der Mehrheit des Rates, verabschiedete der Bundestag auf Grundlage der KI-Prognose das Einspruchsgesetz.
Gestützt wurde die Nutzung der KI-Simulation auf die Geschäftsordnungsautonomie aus Art. 40 Abs. 1 S. 2 GG. Danach ist der Bundestag befugt, seine innere Organisation und sein Verfahren selbst zu regeln. Die KI-Prognose sei dabei als Ausgestaltung des parlamentarischen Beratungs- und Entscheidungsverfahrens zu verstehen. Die Initiatoren führten zudem an, dass kein Verfassungsrecht verletzt sei, insbesondere bleibe das freie Mandat aus Art. 38 Abs. 1 S. 2 GG unberührt, da die Prognose keine obligatorische Entscheidungsgrundlage sei und die Abgeordneten weiterhin frei über die Gesetzesentwürfe abstimmen können.
Heute, zwei Jahre später, zeigt sich die ernüchternde Realität: Verlagerung von Staus, Überlastung der Nebenstraßen, Anstieg des CO² Ausstoßes durch Ausweichverkehr und längere Fahrstrecken und ein unverhältnismäßiger Kostenaufwand. Die von der KI vorausgesagten positiven Effekte sind ausgeblieben.
Deshalb wird die Kritik an der Nutzung von KI als Grundlage für die Verabschiedung von Gesetzen immer lauter. Demokratieverbände befürchten eine indirekte Beeinträchtigung des freien Mandats, wenn die Prognosen des Systems neutral und wissenschaftlich abgesichert wirken. Trotz der freien Wahl könnten die Abgeordneten auf diese Weise in ihrer Urteilsbildung stärker beeinflusst werden als beabsichtigt. Stimmen aus der Wissenschaft betonen daneben, dass die KI nur mit den ihr zur Verfügung gestellten Daten arbeiten könne, sodass Ergebnisse teils verzerrt seien und bestimmte Bevölkerungsgruppen und indirekte Entwicklungen außer Acht gelassen würden.
Zudem drängt sich die Frage nach der Verantwortlichkeit unmittelbar auf, da nicht abschließend geklärt ist, ob die Regierung, die politischen Entscheidungsträger oder gar die Entwickler der KI-Simulation für die Fehlprognose verantwortlich sind.
Ein Thema, das bereits vor der serienmäßigen Markteinführung von speicherfähigen Hirndaten-Chips intensiv diskutiert wurde, erreicht nun erstmals die Praxis: Was zunächst nach einem klassischen Strafverfahren vor dem Amtsgericht Münster aussah, änderte sich durch das von der Staatsanwaltschaft herangezogene Beweismittel schlagartig. Bei einer der Kernfragen des richterlichen Ermessens – der Einschätzung von Vorsatz und Fahrlässigkeit – legte die Staatsanwaltschaft erstmals eindeutige Beweise vor. Der mutmaßliche Täter trug zur vermeintlichen Tatzeit einen Hirndaten-Chip, der Gedanken und Gefühle des Trägers in Echtzeit auswertet und speichert. Die Speicherdaten werden dabei zentral in der Cloud des Chipherstellers abgelegt.
Mangels spezieller Regelungen stützt die Staatsanwaltschaft die Verwendung und Auswertung dieses Beweismittels auf die Online-Durchsuchung nach § 100b Abs. 1 StPO. Für das konkrete Verfahren liegen die Vorteile dieses Vorgehens auf der Hand: Der Vorsatz des Täters konnte anhand seiner Gedanken zweifelsfrei festgestellt werden, eine entsprechende Verurteilung erfolgte.
Entsprechend positiv fallen die Reaktionen der Gewerkschaft der Polizei und einiger Strafrechtslehrer aus, denen zufolge das neue Beweismittel in Zukunft helfen werde, den Kerngedanken des Strafgesetzbuchs zu verwirklichen und Täter (auch) anhand subjektiver Merkmale zu verurteilen – und zwar auf Basis objektiver Beweismittel.
Zugleich wächst die Kritik an der Ausweitung der Beweiserhebung. Menschenrechtsverbände verweisen auf Artikel 1 Abs., 2 Abs. 1, 5 Abs. 1 und 10 Abs. 1 GG sowie auf Artikel 1, 7 und 8 der Europäischen Grundrechtecharta. Ein Zugriff auf die eigenen Gedanken – selbst in digital gespeicherter Form – sei nicht mit den Werten des Grundgesetzes sowie der Europäischen Union vereinbar. Zumindest sei es notwendig, derartige Eingriffe einfachgesetzlich auszugestalten und die Beweismittelvorschriften der StPO an die neuen technischen Gegebenheiten anzupassen.
Neun Monate nach Einführung von § 1034a ZPO liegt der erste Schiedsspruch eines autonomen KI-Systems vor. Entschieden hat die Schiedsstelle für algorithmische Streitbeilegung (SAS) in Frankfurt am Main. Parteien waren ein IT-Dienstleister aus Kassel und ein Stuttgarter Zulieferer für Aktuatormodule humanoider Roboter. Im Rahmenvertrag von 2034 hatten sie die Zuständigkeit der SAS vereinbart, deren Einrichtung der Gesetzgeber damals bereits beschlossen hatte.
Der Dienstleister hatte die Schnittstelle zwischen der Fertigungssteuerung des Zulieferers und dessen Prüfständen für Gelenkmodule programmiert und gewartet. Nach einem Update im Frühjahr 2036 lieferten die Prüfstände mehrere Tage lang fehlerhafte Messwerte. Nach Angaben des Zulieferers stand die Produktion 19 Tage still. Der Zulieferer forderte Schadensersatz und eine vertragliche Pauschale von insgesamt 2,4 Millionen Euro. Der Dienstleister verwies auf die Haftungsbegrenzung in seinen AGB und warf dem Zulieferer vor, das Update ohne die vorgeschriebene Testphase freigegeben zu haben.
Das System wertete nach SAS-Angaben rund 4.300 Seiten Vertragsunterlagen, Protokolle und Logdateien aus. Es hielt die Haftungsbeschränkung für wirksam, bejahte aber eine grob fahrlässige Verletzung von Dokumentationspflichten durch den Dienstleister. Das Mitverschulden des Zulieferers sah es bei 30 % und sprach ihm 1,68 Millionen Euro zu.
§ 1034a ZPO erlaubt es, durch Schiedsvereinbarung ein KI-System als alleiniges Schiedsgericht zu bestimmen. Das System muss nach einer Rechtsverordnung vom BSI zertifiziert sein und unterliegt Aufsichtspflichten der KI-Verordnung (EU) 2024/1689 für Hochrisiko-Systeme.
Vor Zustellung des Schiedsspruchs muss ein Volljurist mit Befähigung zum Richteramt den Entwurf prüfen. Er kann ihn bestätigen oder zur erneuten Bearbeitung zurückgeben, aber nicht selbst ändern. Die tragenden Erwägungen sind so zu protokollieren, dass sie im Aufhebungsverfahren nach § 1059 ZPO nachvollziehbar bleiben. Binnen eines Monats nach Zustellung kann jede Partei beantragen, den Schiedsspruch durch ein mit drei menschlichen Schiedsrichtern besetztes Schiedsgericht auf technische Fehler nicht-rechtlicher Natur überprüfen zu lassen. Im Kasseler Fall übernahm eine pensionierte Richterin des Oberlandesgerichts die Schlussprüfung und bestätigte den Entwurf ohne Rückgabe. Ob eine Partei die Überprüfung beantragt, ist offen. Die Frist endet Mitte November.
SAS-Geschäftsführerin Dr. Barbara Voss zeigte sich zufrieden: „Das System kennt Rechtsprechung, Vertragsrecht und eine Vielzahl von Branchen in einer Tiefe, die ein einzelner Schiedsrichter in mehreren Menschenleben nicht erreichen könnte, und braucht für einen Fall wie diesen Wochen statt Monate.”. Die Kosten lägen rund 55 Prozent unter denen eines Dreierschiedsgerichts. Das Modell sei auf Diskriminierungsfreiheit trainiert und werde von einer Ethikkommission mit externen Mitgliedern überwacht.
Die Vereinigung für Verfahrensrecht und Digitalisierung (VVD) hatte die Reform im Gesetzgebungsverfahren abgelehnt. Ihr Vorsitzender Darius Rostami sagte, ein Prüfer, der nur abnicken oder zurückgeben könne, treffe keine richterliche Entscheidung. Die Monatsfrist reiche zudem kaum aus, um einen Entwurf von mehreren hundert Seiten samt Protokoll zu bewerten. Offen sei außerdem, wie ein Aufhebungsgericht klären solle, ob die dokumentierte Begründung die tatsächliche Entscheidungsgrundlage des Systems wiedergibt.
Die Bundesregierung begründete die Reform mit dem Bedarf von Unternehmen nach schnelleren und günstigeren Verfahren. Die SAS meldet bereits 37 weitere anhängige Verfahren.
33 Jahre nach seiner ersten Entschließung zur Robotik greift das Europäische Parlament eine Idee wieder auf, die lange als erledigt galt: die elektronische Person. Mit großer Mehrheit forderte das Parlament in Straßburg die Europäische Kommission auf, einen Rechtsrahmen für hochautonome Robotersysteme vorzulegen. Kern des Vorschlags ist ein eigener, eng begrenzter Rechtsstatus für diese Systeme, verbunden mit der Pflicht der Unternehmen, für jede E-Person einen Haftungsfonds anzulegen.
Bereits 2017 hatte das Parlament angeregt, langfristig einen Status als „elektronische Person“ für die ausgereiftesten autonomen Roboter zu prüfen. Die Idee stieß damals auf breite Ablehnung. 2018 widersprachen mehr als 150 Fachleute in einem offenen Brief: Eine Haftungslücke bestehe nicht, das geltende Recht reiche aus. Die Kommission verfolgte den Vorschlag nicht weiter.
Diese Einschätzung sei heute überholt, heißt es in der Begründung der neuen Entschließung. Autonome Roboter der jüngsten Generation lernen im laufenden Betrieb und passen ihr Verhalten fortlaufend an. Ihre Entscheidungen seien selbst für die Entwickler:innen weder vorhersehbar noch im Nachhinein nachvollziehbar. Damit entstehe genau die Lücke, die 2018 noch verneint wurde. Den Betreiber:innen ist kein Verschulden vorzuwerfen, weil sie das Verhalten des Systems weder vorhersehen noch steuern konnten. Die Hersteller wiederum berufen sich auf den Entwicklungsrisiko-Einwand der Produkthaftungsrichtlinie (EU) 2024/2853: Sie haften nicht, wenn ein Fehler nach dem Stand von Wissenschaft und Technik nicht erkennbar war. Öffentlich wurde das Problem im vergangenen Jahr durch mehrere Fälle, in denen humanoide Haushaltsroboter Schäden verursachten und die Geschädigten leer ausgingen.
Hier soll die E-Person ansetzen. Ausdrücklich will das Parlament sie nicht mit natürlichen oder juristischen Personen gleichstellen. Sie soll weder Grundrechte noch eine allgemeine Geschäftsfähigkeit erhalten, sondern allein Trägerin von Haftung sein. Jedes erfasste System soll in ein europäisches Register eingetragen werden. Hersteller und Betreiber sollen verpflichtet werden, im Namen der E-Person einen Fonds anzulegen, dessen Mindestvolumen sich nach der Risikoklasse des Systems richtet. Verursacht der Roboter einen Schaden, haftet die E-Person mit diesem Fondsvermögen. Die bestehende Haftung der Unternehmen soll daneben unberührt bleiben.
Kritik kommt aus Wirtschaft und Wissenschaft. Unternehmensverbände warnen vor erheblichen Mehrkosten für Innovationen in Europa. Rechtswissenschaftler:innen geben zu bedenken, dass auch ein Fonds erschöpft werden könne und die Lücke damit nur verlagert werde. Zudem lasse sich nicht jedes KI-System eindeutig einem bestimmten Gerät zuordnen. Grundsätzlicher wird eingewandt, dass die Anerkennung von Maschinen als Rechtssubjekte eine Grenze verwische, die das Recht bewusst zwischen Mensch und Maschine gezogen habe.
Rechtlich handelt es sich um eine legislative Initiativentschließung nach Art. 225 AEUV. Das Parlament kann selbst keine Gesetze vorschlagen; die Kommission muss nun darlegen, ob sie einen Vorschlag vorlegt. In Deutschland würde eine Umsetzung bedeuten, das BGB um eine dritte Kategorie von Rechtssubjekten neben natürlichen und juristischen Personen zu ergänzen.
Die passende Lerngruppe für die Examensvorbereitung zu finden, ist oft schwieriger als der Stoff selbst. Lerngruppe.ai schafft Abhilfe: Der virtuelle Kommiliton passt sich dem eigenen Lernstand an, fragt Definitionen und Prüfungsschemata ab und spielt Meinungsstreits durch, indem er gezielt die Gegenposition vertritt. Wer einen Fall gelöst hat, muss ihn erklären können – und Lerngruppe.ai fragt so lange nach, bis klar ist, ob der Fall wirklich verstanden wurde oder nur das Ergebnis sitzt. Das Tool erstellt außerdem einen Lernplan bis zum Examenstermin, erinnert an Wiederholungseinheiten und erkennt, welche Rechtsgebiete zu kurz kommen. Auf Wunsch lassen sich echte Kommiliton:innen dazuholen, dann moderiert die KI die gemeinsame Sitzung. Einziger Nachteil: Snacks bringt Lerngruppe.ai nicht mit.
