Editor’s Ramble #75

Liebe Leser:innen,

in dieser Ausgabe von NewLawRadar tauchen wir tief in die spannende Welt der Digitalisierung des Rechtswesens ein. Wir beginnen mit einem Blick auf die jüngsten Entwicklungen in der Zivilgerichtsbarkeit: Die Bundesregierung hat einen Entwurf für ein Gesetz zur Erprobung von Online-Verfahren vorgelegt, der vielversprechende Neuerungen mit sich bringt. Die Digitalisierung der Justiz schreitet voran und könnte bald den Alltag vieler Bürger erleichtern.

Ein weiteres Highlight ist der digitale Euro. Trotz der medialen Ruhe um dieses Projekt gibt es wichtige Fortschritte und spannende Diskussionen darüber, wie digitales Zentralbankgeld die Art und Weise, wie wir Geld verwenden, revolutionieren könnte.

Außerdem werfen wir einen Blick auf die aktuelle Situation bei Meta. Das Unternehmen musste seine Pläne, KI mit Nutzerdaten zu trainieren, vorerst stoppen. Welche Auswirkungen dies auf die KI-Entwicklung in Europa haben könnte, erfahrt ihr in unserem ausführlichen Artikel.

Die strafrechtlichen Implikationen von KI im medizinischen Bereich sind ein weiteres faszinierendes Thema, dem wir uns widmen. Was passiert, wenn eine KI bei Operationen zum Einsatz kommt und Fehler macht? Diese Fragen und mehr beleuchten wir in unserem Beitrag.

Zum Schluss widmen wir uns dem Digital Markets Act und den Herausforderungen, denen Apple mit seiner neuen KI-Funktion gegenübersteht. Welche Hürden müssen genommen werden, damit „Apple Intelligence“ in Europa Realität wird?

Wir hoffen, diese Ausgabe inspiriert euch und liefert wertvolle Einblicke in die aktuellen Entwicklungen im Bereich LegalTech. Viel Spaß beim Lesen!

Redaktion: Katharina, Dennis, Friedrich, Lena, Jakob und Jeremias

Wir sind gespannt auf Eure Meinung! Euer Feedback zu unseren Inhalten ist uns äußerst wichtig, und wir freuen uns über Eure Vorschläge. Schickt uns einfach eine E-Mail an radar@recode.law und teilt uns mit, was Ihr denkt!

Online-Verfahren in der Zivilgerichtsbarkeit

Justiz in modern – von Reallaboren und Kommunikationsplattformen

Am 11.06.2024 veröffentlichte die Bundesregierung den Entwurf eines Gesetzes zur Entwicklung und Erprobung eines Online-Verfahrens in der Zivilgerichtsbarkeit. 

Ziel ist es, die Digitalisierung der deutschen Justiz voranzutreiben, ihre Effizienz zu steigern und barrierearme, bürgerfreundliche Zugänge zu schaffen. Neben der Umsetzung des Ziels aus dem Koalitionsvertrag wird hiermit auch auf Erreichung des Nachhaltigkeitsziels 16 der Agenda 2030 der UN hingewirkt. 

Konkrete Änderungen: 

• Ermöglichung von Online-Verfahren bei Streitigkeiten über Geldforderungen vor den Amtsgerichten, bis zur Streitwertgrenze von 5.000 € (bzw. bis zu 8.000 € bei Inkrafttreten der geplanten Änderung des § 23 Nr. 1 GVG zur Erhöhung der Streitwertgrenze).
• Schaffung digitaler Eingabesysteme zur Klageerhebung und Unterstützung von Rechtssuchenden durch Informationsangebote und Eingabe- und Abfragesysteme. 
• Ausbau der digitalen Kommunikation durch Öffnungsklauseln in der ZPO. Insbesondere durch die Förderung von Videoverhandlungen, Erweiterung der Entbehrlichkeit mündlicher Verhandlungen sowie Erleichterungen im Beweisverfahren.
• Einführung digitaler Eingabesysteme und technischer Standards zur Erleichterung der Bearbeitung von Massenverfahren, unter anderem durch Strukturierung von Daten.

• Digitalisierung der Zustellung und Veröffentlichung von Urteilen.

• Bundeseinheitliche Erprobung einer Kommunikationsplattform zur Übermittlung von Dokumenten, Kommunikation zwischen Verfahrensbeteiligten und mit dem Gericht sowie zur Ermöglichung kollaborativen Arbeitens. 

Erprobt werden die Änderungen im Laufe der nächsten zehn Jahre an ausgewählten Gerichten, in Form sog. Reallaboren. An diesen Gerichten können Verfahrensbeteiligte das digitale Verfahren wählen, wobei bei typischen Massenverfahren, wie Fluggastrechten, bereits eine erweiterbare Nutzungspflicht vorgesehen ist. Die notwendigen IT-Lösungen sollen direkt in der Praxis entwickelt und an den Verfahrensalltag angepasst werden. Die rechtliche Grundlage hierfür schafft der Entwurf durch die Ergänzung der ZPO um ein 12. Buch „Erprobung und Evaluierung“ sowie Experimentierklauseln.  Evaluierungen sind jeweils nach vier und acht Jahren vorgesehen. 

Ausblick in die Zukunft der Justizdigitalisierung

Zum o.g. Gesetzesentwurf können interessierte Kreise noch bis zum 12.07.2024 Stellung nehmen. Außerdem wurde am 14.06.2024 das im letzten Newsletter vorgestellte Gesetz zur weiteren Digitalisierung der Justiz verabschiedet. Es umfasst unter anderem die Hybridaktenführung, die digitale Stellung von Strafanträgen und die Teilnahme an Revisionshauptverhandlungen per Video. Fortschritte gibt es auch hinsichtlich der Nutzung von Videokonferenztechnik. Hier einigten sich Bund und Länder auf Vorschläge des Vermittlungsausschusses zum Gesetz zur Förderung des Einsatzes von Videokonferenztechnik in der Zivilgerichtsbarkeit und den Fachgerichtsbarkeiten.

Fortschrittsberichte, Arbeitspapier, Parlamentsanträge

Neues vom digitalen Euro

Seit seiner Ankündigung im Juli 2021 ist es medial ruhiger um den „digitalen Euro“. 59 Prozent ist er sogar weiterhin unbekannt, obwohl er möglicherweise in fünf Jahren starten könnte.

Gesetzliches Zahlungsmittel in der Eurozone ist bisher nur Bargeld. Die Europäische Zentralbank (EZB) hat 2000 dann u.a. Girokontoguthaben gleichgestellt, aber „nur“ im Rahmen der Vertragsfreiheit. Tatsächlichen Zugriff auf das von der EZB geschaffene Geld haben aber nur Banken. Die EZB möchte nun mit einer Milliardeninvestition nach dem Vorbild erster Umsetzungen in Karibikstaaten ergänzend neben das Bar- und Buchgeld eine schon 1985 erstmals geäußerte Idee stellen: digitales Zentralbankgeld. Nach dem aktuellen Vorschlag wäre dieses „digitale Bargeld“ gesetzliches Zahlungsmittel und zugleich jedem Bürger durch ein Konto direkt bei der EZB zugänglich. Nach der Einrichtung bei der eigenen Bank soll die Handhabe den Apps von PayPal & Co. ähneln und bis auf speziellere Services wie Daueraufträge oder Geschäftskonten kostenlos sein. Eine Auflade-Obergrenze soll in Krisenzeiten einen Bank Run verhindern. Die Deutsche Bundesbank sieht diese in ihrem Progress Report von Ende Juni zwischen 1.500 und 2.500 Euro, danach müsste ein Bankkonto verknüpft werden. Die pro Bank im zweistelligen Millionenbereich liegenden Investitionskosten träfen den Handel, allerdings mit einer unter den meisten privaten Anbieter liegenden Obergrenze.

Die EZB möchte so dem Kontrollverlust an die meist nicht dem EU-Rechtsrahmen unterworfenen Privatdienstleister entgegenwirken. Trotzdem winken auch Verbrauchern Erleichterungen: Echtzeitzahlungen bei jedem EU-Händler ohne Einbindung von Drittanbietern und ohne zwingende physische Karte, Wettbewerbsdruck auf Transaktionsdienste und Banken, ein Konto bei einer quasi immer solventen Bank und unabhängig jeglicher Scoring-Werte. Auf Sicht wären auch Maschine-zu-Maschine-Zahlungen und Smart Contracts möglich.

Neben der ungewissen Zukunft des Bankensektors (Kundenverlust? Einlagensicherung? Extra-Services als neues Geschäftsmodell? Vergrößerung des Marktes?) rückt allerdings auch die Privatsphäre in den Fokus. Laut dem Ende Juni veröffentlichten Fortschrittsbericht der EZB soll es eine Offline-Funktion geben, bei der nur Sender und Empfänger die Details der Transaktion kennen. Auch bei Online-Zahlungen hätte das Eurosystem nur pseudonymisierte, gehashte und verschlüsselte Daten. Banken hätten wie schon jetzt (nur) insbesondere im Rahmen der Geldwäschebekämpfung und der vertraglichen Vereinbarungen Zugang zu personenbezogenen Daten. Trotzdem äußert die sog. „Berlin Group“ in einem Arbeitspapier von Ende Juni Bedenken: In die Grundrechte der Menschen könnte unverhältnismäßig eingegriffen werden, einzelne Personen könnten diskriminiert werden. Helfen sollen u.a. eine Datenschutz-Folgeabschätzung, anonyme Zahlungen bis zu einer gewissen Höhe, effektiver Schutz gegen Cyber-Angriffe und klare Verantwortungsbereiche.

Seit November 2023 läuft für zwei Jahre eine Vorbereitungsphase für Regelwerk und Anbieter. Im Februar hat das Europäische Parlament den Kommissionsentwurf kommentiert. Im Juli will die AfD im Bundestag den Abbruch des Projekts erreichen, die Union einen Parlamentsvorbehalt. Ende des Jahres soll ein neuer Entwurf des „digital euro rulebook“ veröffentlicht werden. Ein finales Gesetz soll Ende 2025 beschlossen werden.

Datennutzung und Meta KI

Meta KI mit Verbraucherdaten vorerst gestoppt

Das US-Unternehmen Meta hat geplant, die Daten der Nutzer eigener Plattformen und von Drittanbietern zu verwenden, um die eigene Künstliche Intelligenz (KI) zu trainieren. Dass eine KI eines Trainings mit Daten bedarf, ist soweit bekannt. Aber bisher wurden nur im Web frei verfügbare Daten verwendet, z.B. bei ChatGPT von OpenAI.

Meta möchte auch (privat) auf den eigenen Plattformen veröffentlichte Daten und Bilder verwenden und das auch DSGVO konform mittels der „Opt-Out“ Lösung, statt einer Einwilligung. Wenn durch den Verbraucher keine Verwendung gewünscht ist, dann muss unter Angabe eines Widerrufsgrundes über ein umständliches Formular der Verwendung widersprochen werden. 

Meta hat nach Abmahnungen/ Beschwerden durch mehrere Verbraucherzentralen eine Unterlassungserklärung abgegeben, die geplante Änderung der Datenschutzrichtlinie nicht durchführen zu wollen. Die „Bestrafung“ für die Verbraucher aber auch sofort formuliert: Die Meta KI Anwendungen werden vorerst in Europa nicht verfügbar sein. Apple hat ähnliche Konsequenzen für die Nutzung von Apples KI („Apple Intelligence“) gezogen, nachdem das Unternehmen zu dem Schluss gekommen ist, dass die Verwendung von Daten gegen den Europäischen Datenschutz verstoßen könnte.

Metas Vorhaben erscheint jedoch noch schwieriger umsetzbar, wenn man bedenkt, dass der EuGH sich zu einem ähnlichen Verwendungszweck von Meta geäußert hat. In dem Urteil hat der EuGH der Nutzung von persönlichen Daten auf den Plattformen zur Personifizierung der Daten widersprochen. Eine ähnliche Datennutzung wird eben jetzt begehrt, nur um eine KI zu trainieren. 

Nach Rechtsauffassung von Meta stellt ein solches Training einer KI aber ein „berechtigtes Interesse“ nach Art. 6 I f DSGVO dar, um die ausdrückliche Einwilligung zu umgehen.

In dem Urteil des EuGH wurde ein berechtigtes Interesse angenommen, wenn „dies für die Gewährleistung der Netz- und Informationssicherheit unbedingt notwendig und verhältnismäßig ist“ (Rn. 47). Ob ein solches Sicherheitsinteresse bei dem Training der Daten für eine KI gegeben ist, ist nur mit viel Fantasie herzuleiten.

Strafrechtliche Fragestellung zum Umgang mit KI im medizinischen Fachbereich

Wenn die KI alles richtig macht

Künstliche Intelligenz hat mittlerweile ein sehr großes Anwendungsfeld. Besonders fortgeschritten sind Modelle, die medizinische Daten oder Bilder auswerten und Diagnosen erstellen – teilweise mit höheren Trefferquoten als ein durchschnittlicher Facharzt (bspw. der Hautkrebs-Detektor SCDet).

The Da Vinci Operationsroboter von Intuitive, der schon seit einiger Zeit auch in Europa verwendet wird, übersetzt die Kommandos der Chirurgen in hochpräzise Bewegungen, die von einem Roboterarm ausgeführt werden. Das findet bspw. bei Krebsoperationen im Darmbereich Anwendung, da es hier auf zitterfreies, millimetergenaues Arbeiten ankommt.
Geplant ist es, Da Vinci mit einer KI auszustatten, die die Operation filmt, in Echtzeit auswertet und unter anderem den „Operateur automatisch warnen soll, wenn sich das Skalpell zum Beispiel empfindlichen Darmschichten, Gefäßen und Nerven nähert“ (siehe hier).
Wenn der Chirurg während des Eingriffs eine solche Warnung der KI bekommt, diese jedoch ignoriert und es deshalb zur Verletzung oder gar zum Tod des Patienten kommt – wie könnte das strafrechtlich bewertet werden?

Die allgemeine Produkthaftung scheidet aus, da hier nur die Verantwortung des Herstellers für fehlerhafte Produkte geregelt ist. Ebenso würde die spezifische Regelung im Medizinprodukterecht-Durchführungsgesetz (MPDG) nicht greifen, da sich hier das Nutzungsverbot ebenfalls nur auf Produkte erstreckt, die „Mängel aufweisen“ (§ 11 MPDG) – eine einwandfrei funktionierende KI ist also nicht eingeschlossen.

Die nächste Überlegung wäre es, die Grundsätze der Arbeitsteilung anzuwenden. Es wird in zwei Arten unterschieden – horizontale und vertikale.
Die erste Art, die horizontale Arbeitsteilung, beschreibt eine solche zwischen Personal auf Augenhöhe, bspw. das Zusammenarbeiten von Fachärzten, die jeweils ihre Expertise beisteuern, um dem gemeinsamen Patienten zu helfen. Dabei übernimmt jeder für sein Handeln die Verantwortung und vertraut auf das Pflichtbewusstsein und die Richtigkeit der Ergebnisse des anderen (sog. Vertrauensgrundsatz). Es kann durchaus argumentiert werden, dass eine hochspezialisierte KI mit hervorragender Trefferquote, wie der oben erwähnte SCDet, gleich einem Experten gewertet werden soll. In diesem Fall wäre es dem Arzt schon beinahe obliegend (sofern keine groben Unstimmigkeiten erkennbar sind), dem Ergebnis der KI zu folgen. Diese Ansicht ist zwar auf Wahrscheinlichkeit und Statistik solide gebaut, widerspricht jedoch den aktuellen rechtspolitischen und -wissenschaftlichen Strömungen: Genau solche (u.a. unüberprüfte) KI-Ergebnisse werden eher als Gefahr angesehen, vor der die Bevölkerung geschützt werden müsste. Horizontale Arbeitsteilung trifft deshalb nach herrschender Meinung nicht auf die Zusammenarbeit zwischen Mensch und KI zu.

Die zweite Art wäre die vertikale Arbeitsteilung. Diese beschreibt die ‚Hierarchie‘ von Mitarbeitern zu Vorgesetzten, oder, wie im medizinischen Sektor üblicher, Pflegepersonal zu Ärzten sowie Ärzte zum Chefarzt. In dieser Konstellation ist ebenfalls jede Person grundsätzlich für ihr Handeln selbst verantwortlich. Weisungsbefugte treffen darüber hinaus aber noch weitere (Überwachungs- und Kontroll-) Pflichten. In dieser Konstellation würde die KI (noch) dem Menschen unterstellt sein.
Das heißt, der behandelnde Arzt muss die KI überwachen und kontrollieren, um seine Pflichten zu erfüllen. Dieser Sicherheitsmechanismus greift bei der resultatorientierten Arbeitsweise der KI jedoch nicht wirklich. Denn wie soll ein undurchsichtiger Rechenprozess überwacht und ein unklar zustande gekommenes Ergebnis überprüft werden?

Ansonsten wäre noch denkbar, die KI lediglich als ein Werkzeug zu betrachten und für ihre Verwendung einen Sorgfaltspflichtmaßstab aufzustellen, der dem Facharztstandard folgt. Ein Facharztstandard spiegelt den jeweils aktuellen Stand der Forschung und Wissenschaft wider und gibt entsprechend Richt- und Leitlinien vor.
Allerdings stehen wir im Bereich der KI derzeit (und wahrscheinlich auch in naher Zukunft) vor der Problematik, dass es noch keine Standards gibt, da der Erfahrungsgehalt beim Umgang mit KI schlicht fehlt.
Außerdem ist ein Facharztstandard nicht mehr als eine unverbindliche Orientierungshilfe: Auch bei der Befolgung des Standards ist nicht zwingend die Fahrlässigkeit ausgeschlossen, genau so wenig wie das Missachten nicht gleich sorgfaltswidrig ist.
Das Aufstellen eines solchen Standards trägt dementsprechend nicht wirklich zur Rechtssicherheit bei – die Haftungsfrage bleibt daher weiter offen.

Damit bleiben letzten Endes nur noch die allgemeinen Grundsätze der Verantwortlichkeit für Fahrlässigkeit. Hier würde zwar normalerweise zur Beurteilung der verkehrskreisüblichen Sorgfaltspflichten auch auf die (noch nicht vorhandenen) Facharztstandards zurückgegriffen werden. Ebenso gut kann Fahrlässigkeit einfach auf das allgemeine Gebot gestützt werden, nach dem fremde Rechtsgüter nicht gefährdet oder verletzt werden dürfen. Dabei ist der unvorhersehbare und intransparente Lernprozess der KI erstmal ein so hohes Risiko, dass der Gebrauch einer selbstständigen KI nicht gerechtfertigt werden kann. Ebenso fahrlässig ist es aber auch, die Hinweise einfach zu ignorieren – immerhin beruht dieser Hinweis, insbesondere im medizinischen Setting, auf Trainingsdaten von höchster Qualität. Damit bedarf es der Überprüfung jeden Hinweises der KI, um die mögliche Gefährdung mit dem potenziellen Nutzen abzuwägen.

Zusammenfassend führt die Frage, wenn KI alles richtig macht, in juristisches Neuland – so wie beinahe alles, was mit KI zu tun hat. Der bloße Rückgriff auf das, was unser Recht jetzt schon zu bieten hat, reicht noch nicht aus, um die theoretische „was-wäre-wenn“-Problematik in Zukunft sicher beurteilen zu können. Es fehlt an Erfahrungen in Form von Standards, Richtlinien und Rechtsprechungen. Von einer Rechtssicherheit, die der schnellen technischen Entwicklung den Rücken decken kann, sind wir noch sehr weit entfernt. Daher wird es wohl vorerst bei dieser Fragestellung bleiben.

Apple und DMA

Apple Intelligence vs. Digital Markets Act: Der Kampf um die Nutzerdaten

Während der Autofahrt auf WhatsApp-Nachrichten antworten, den Tag planen oder wichtige Informationen, Uhrzeiten und Termine aus E-Mails filtern.

Das und noch viel mehr könnte bald Realität werden, wenn Apple seine eigene KI-Funktion „Apple Intelligence“ auf den Markt bringt. 

Aber so einfach scheint die ganze Sache für Apple nicht zu laufen. Die Grundlage für die Apple-KI ist der tiefgreifende Zugang zu Nutzerdaten. Damit hat vor allem der Digital Markets Act (DMA) der EU ein großes Problem.

Der DMA verlangt von sog. „Gatekeepern“, dass sie anderen Anbietern den Zugang gewähren, eigene Dienstleistungen anzubieten und dass sie ihre eigenen Angebote nicht bevorzugen. Dies birgt das Risiko, dass Nutzerdaten abgezweigt und missbraucht werden könnten. 

Apple beruft sich aktuell auf eine Ausnahmebestimmung, die greift, wenn durch die Öffnung für andere Dienstleister die „Integrität“ des Systems beeinträchtigt werden könnte. Ob die EU-Kommission Apples Bedenken hinsichtlich der Datensicherheit als Grund für eine solche Ausnahme akzeptieren wird, bleibt abzuwarten. 

In jedem Fall hat Apple angekündigt, dass die KI-Funktion in Europa nicht vor 2025 eingeführt wird. Daher müssen wir uns wohl noch ein wenig gedulden, bis wir in den Genuss von „Apple Intelligence“ kommen.

Lese-Tipp

Justizielle Zusammenarbeit und Zugang zur Justiz – jetzt digital(er)?

Zur Verordnung über die Digitalisierung der justiziellen Zusammenarbeit und des Zugangs zur Justiz schrieb unser Mitglied Paul Soller einen ausführlichen Beitrag in der MMR. Schaut gerne rein!

Fundstelle: MMR 2024, 308.

Podcast-Tipp

recode.cademy #2 Legal Tech – was steckt dahinter?

In der zweiten Folge der recode.cademy unterhalten Marie Landwehr und Lucas Schönborn sich über die Technologien hinter Legal Tech – ob KI, Blockchain oder Big Data. Wir hoffen, dass Ihr einen Überblick darüber gewinnen könnt, was hinter den Technologien steckt, wie sie funktionieren und inwiefern sie für Legal Tech prägend sind.

Hier geht es zur Folge

Viel Spaß beim Hören!

Last Updated on 9. July 2024