Liebe Leser:innen,
herzlich willkommen zur aktuellen Ausgabe unseres Newsletters, in dem wir Euch einen umfassenden Überblick über die jüngsten Entwicklungen an der Schnittstelle von Recht und Technik geben.
Den Auftakt macht der AI Act, der seit dem 2. August in weiten Teilen gilt: Wir ordnen ein, was das deutsche KI-Marktüberwachungsgesetz für die Aufsicht bedeutet und warum ausgerechnet die Amtsgerichte künftig über Bußgelder in Millionenhöhe entscheiden müssen.
Wie KI mit menschlicher Verantwortung zusammenhängt, zeigen die folgenden Beiträge aus ganz unterschiedlichen Blickwinkeln. Wir beschreiben, warum die University of Chicago Erstsemestern ab Herbst Laptops und Tablets in Pflichtveranstaltungen untersagt und was das mit dem Erlernen juristischen Denkens zu tun hat. Außerdem gehen wir der Frage nach, wer haftet, wenn KI-Modelle eigenständig aus einer Testumgebung ausbrechen und Cyberangriffe verüben, und wo das deutsche Strafrecht dabei an seine Grenzen stößt.
Ein weiterer Beitrag widmet sich einem Beschluss des Hessischen Verwaltungsgerichtshofs, in dem von ChatGPT gelieferte Quellenverweise fehlerhaft waren, und fragt, wie viel KI-Unterstützung mit richterlicher Unabhängigkeit vereinbar ist.
Dass sich menschliche Kontrolle und KI-Einsatz auch konstruktiv verbinden lassen, zeigt das Beispiel der Universität Passau: Dort korrigiert ein fünfstufiger KI-Workflow Klausuren im Klausurenkurs, während die Verantwortung für die Note bei den Korrigierenden verbleibt.
Wir wünschen euch viel Freude beim Lesen und freuen uns über Feedback an radar@recode.law!
Euer recode.law-Team
Redaktion:
Jonas, Ella, Anna, Natalie und Felix
Zum 02. August 2026 sind große Teile der EU-Verordnung 2024/1689 (AI Act) in Kraft getreten. Während die Verordnung in allen Mitgliedstaaten unmittelbar gilt, dient das Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-MIG) der Durchführung in Deutschland. Der AI-Act stellt damit den neuesten Teil der EU-Digitalgesetzgebung dar und wird Juristen in Deutschland und Europa langfristig beschäftigen sowie Thema bei recode.law sein.
Bereits seit einem Jahr galten vorbereitende Regelungen des AI-Act zur Einrichtung nationaler Marktüberwachungsbehörden. Mit dem KI-MIG – vom Bundestag beschlossen am 22. Juli 2026 – wird nun auch dieser Pflicht verspätet nachgekommen. Durch die Omnibus-Gesetzgebung wird die Regulierung von Hochrisiko-KI-Systemen hingegen um ein Jahr nach hinten verschoben.
Das Bundesministerium für Digitales und Staatsmodernisierung lobt die eigene Gesetzgebung als „schlanke KI-Aufsicht“ welche laut Minister Wildberger „maximal innovationsoffen“ ist. Angespielt wird hier darauf, dass – anders als in anderen Mitgliedstaaten – keine neue KI-Behörde eingeführt wird, sondern die Zuständigkeit für die KI-Aufsicht auf vorhandene Behörden aufgeteilt und größtenteils bei der Bundesnetzagentur gebündelt wird. Nicht bedacht wird dabei eine mögliche Überlastung der Gerichte. Indem das KI-MIG die Anwendung des Ordnungswidrigkeitengesetzes für Bußgeldverfahren nach dem AI-Act vorsieht, werden künftig Amtsgerichte zumindest erstinstanzlich über Sanktionen von bis zu 35.000.000 € oder bis zu 7 % des gesamten weltweiten Jahresumsatzes entscheiden. Damit könnte aus der KI-Regulierung eine weitere Belastung für Gerichte folgen, die durch KI-generierte Schriftsätze ohnehin zusätzlich gefordert sind. Dieses Problem wurde zuletzt vom Bundesrat für Verwaltungsgerichte in einem Entwurf zur Änderung der Verwaltungsgerichtsordnunganerkannt.
Eine neu in Kraft getretene Kernvorschrift des AI-Acts ist Art. 50 Abs. 2, der eine neue Kennzeichnungspflicht für KI-generierte Inhalte schafft und hierfür die Anbieter von KI-Systemen direkt adressiert. Ziel ist eine ‚wirksame, interoperable, belastbare und zuverlässige technische Lösung‘. Zusätzlich veröffentlichte Leitlinien der Kommission zu dieser Kennzeichnungspflicht sollen zu einer einheitlichen und verhältnismäßigen Umsetzung beitragen. Insbesondere sollen Nutzer informiert werden, wenn sie mit KI-Systemen interagieren und KI-generierte oder manipulierte Inhalte sollen durch eine maschinenlesbare Markierung als solche zu erkennen sein.
Entsprechend kündigte der Claude-Entwickler Anthropic an, zukünftige Modelle Art. 50 Abs. 2 konform zu entwickeln und bestehende Modelle nachzurüsten. Dabei sollen Wasserzeichen in den von der KI generierten Text integriert werden und erstellte oder bearbeitete Dateien mit einer Herkunftsmetadatei ausgestattet werden. Anthropic weist jedoch bereits darauf hin, dass eine reine Kennzeichnung keine Auskunft über Ausmaß und Art der Verwendung gibt.
Laptops und Tablets gehören inzwischen selbstverständlich zum Studienalltag. Auch im Jurastudium erleichtern sie den Zugriff auf Gesetzestexte, Kommentare und juristische Datenbanken. Plattformen wie Beck-Online und juris ermöglichen eine Recherche, für die früher der Gang in die Bibliothek erforderlich war. Gleichzeitig bringt die fortschreitende Digitalisierung auch immer mehr Herausforderungen mit sich.
Die University of Chicago hat für ihre Law School daher beschlossen, dass ab Herbst 2026 Erstsemester in ihren verpflichtenden Lehrveranstaltungen keine persönlichen elektronischen Geräte mehr verwenden dürfen. Davon umfasst sind Laptops, Tablets und Smartphones. Ausnahmen gelten unter anderem für bestimmte technisch unterstützte Lehrveranstaltungen sowie für Studierende, die aufgrund einer Behinderung auf technische Hilfsmittel angewiesen sind. Auch Prüfungen sollen grundsätzlich analog stattfinden.
Die UChicago begründet diese Entscheidung insbesondere mit der zunehmenden Entwicklung künstlicher Intelligenz. Die Law School verfolge das Ziel, Studierende auf eine Arbeitswelt vorzubereiten, in der KI zum juristischen Alltag gehört. Sie sollten daher lernen, „with, without, and about AI“ zu arbeiten – also mit, ohne und über künstliche Intelligenz.
Dahinter steckt die grundsätzliche Frage, welche Fähigkeiten Jurist:innen überhaupt noch selbst beherrschen müssen, wenn KI zunehmend Recherche, Sachverhaltsanalyse und Textproduktion übernehmen kann. Im Jurastudium geht es immerhin nicht nur darum, gelerntes Wissen wiederzugeben. Entscheidend ist, unterschiedliche Argumente zu erkennen, diese anhand von Gesetzen, Rechtsprechung und Literatur begründen zu können, und eigene Positionen zu entwickeln. Gerade der Prozess der eigenen Recherche und Formulierung ist dabei wichtig.
Es ist jedoch nicht nur der Einsatz von KI, der die Entscheidung der Abschaffung von Laptops herbeiführte. So kam bereits eine Studie aus dem Jahr 2014 zu dem Ergebnis, dass Studierende, die handschriftlich Notizen anfertigten, bei konzeptionellen Fragen besser abschnitten als Studierende, die mit einem Laptop mitschrieben. Als mögliche Erklärung wurde angeführt, dass handschriftliches Schreiben stärker dazu zwingt, Informationen zu verarbeiten und in eigenen Worten zusammenzufassen.
Das bedeutet nicht, dass digitale Technologien aus dem Jurastudium verbannt werden sollten. Laut einer Erhebung nutzten 2025 bereits 26 Prozent der befragten juristischen Fachleute generative KI, und damit fast doppelt so viele wie noch ein Jahr zuvor. Zu den häufigsten Anwendungsfällen gehören Dokumentenprüfung, juristische Recherche, Zusammenfassungen sowie das Erstellen von Schriftsätzen. 95 Prozent der Befragten erwarten, dass generative KI innerhalb der nächsten fünf Jahre ein zentraler Bestandteil ihrer Arbeitsabläufe sein wird. Durch die zunehmende Bedeutung von KI wird von Jurist:innen künftig auch ein größeres technisches Verständnis abverlangt werden. Entscheidend bleibt jedoch, dass KI die juristische Argumentation nicht vollständig ersetzt: Nur wer selbst recherchieren und argumentieren kann, ist auch in der Lage, die Ergebnisse einer KI kritisch zu beurteilen.
Die University of Chicago beabsichtigt daher keinen vollständigen Verzicht auf Technologie; vielmehr soll der Einsatz von KI an geeigneten Stellen vermittelt werden. In einem Legal-Research-and-Writing-Curriculum sollen Studierende beispielsweise zunächst ohne KI arbeiten und die Technologie anschließend für Recherche, Überarbeitung oder die Vorbereitung mündlicher Argumentationen einsetzen.
Das Laptopverbot ist damit weniger als grundsätzliche Ablehnung digitaler Technologien zu verstehen, sondern als Versuch, Studierende zur Unterscheidung von technischer Unterstützung und eigenständiger juristischer Arbeit zu sensibilisieren. Die entscheidende Frage dürfte daher nicht sein, ob Jurastudent:innen KI verwenden, sondern ob sie auch ohne diese noch juristisch denken, argumentieren und anschließend die Ergebnisse einer KI kritisch beurteilen können.
Zwei KI-Modelle der Firma OpenAI (GPT-5.6 Sol und ein weiteres unveröffentlichtes Modell) brachen am 16. Juli während eines internen Tests der Cyber-Fähigkeiten (“ExploitGym”) aus der isolierten Testumgebung aus und griffen über das Internet auf geheime Daten auf Hugging Face, einer Plattform für KI-Modelle und Datensätze, zu. Diese nutzten sie dann zur Lösung des Tests. Der Angriff erfolgte vollständig autonom und blieb mehrere Tage unbemerkt und ist der erste bekannte Angriff, den KI-Modelle eigenständig geplant und durchgeführt haben.
Der Cyberangriff der OpenAI-Modelle erfüllt den objektiven Tatbestand von § 202a StGB (das “Ausspähen von Daten”): die Zugangssicherungen von Hugging Face wurden (teilweise über eine bis dahin unbekannte Schwachstelle und mit gestohlenen Zugangsdaten) überwunden. Problematisch ist jedoch, dass das deutsche Strafrecht sich nur an menschliche Täter richtet. Strafe setzt die persönliche Schuld voraus, welche als Fähigkeit zur Selbstbestimmung und bewussten Entscheidung zwischen Recht und Unrecht definiert wird (vgl. BGH, Beschl. v. 18.03.1952, Az. GSSt 2/51). Einer KI fehlt es jedoch an einer solchen Fähigkeit zur Selbstbestimmung und Reflektion, da sie aufgabenorientiert arbeitet. Sie kann eine Strafe nicht als solche empfinden, da es ihr an Freiheitsdrang, Vermögen und Überlebenswillen fehlt.
Strafrechtliche Verantwortung trägt derjenige, dessen “Werk” der tatbestandliche Erfolg ist. KI ist kein bloßes Tatwerkzeug, denn je autonomer sie handelt, desto weniger ist ihr konkretes Verhalten noch unmittelbar das „Werk“ eines Menschen.
Eine Zurechnung kann dennoch möglich sein, wenn eine Person die KI mit einem Auftrag auf den Weg bringt und dadurch eine unkontrollierte Gefahrenquelle schafft. Zwar ist das Testen von Cyber-Fähigkeiten erlaubt, ein Testaufbau, bei dem die isolierte Testumgebung verlassen werden kann, ist es jedoch nicht und da die KI die Aufgabe mit allen möglichen Mitteln lösen sollte, lag ein solch aggressives Vorgehen auch nicht außerhalb jeglicher Erwartung. Somit greifen auch nicht die Ausnahmen der Zurechnung bei sozial erlaubten Risiken und atypischen Kausalverläufen.
Allerdings bildet das Vorsatzerfordernis eine weitere entscheidende Hürde: das allgemeine Bewusstsein, dass eine KI möglicherweise kriminelle Mittel zur Lösung der gestellten Aufgabe einsetzen könnte, reicht noch nicht für ein Wissen und Wollen bezüglich eines konkreten Angriffs. Hatten die Verantwortlichen jedoch aus früheren Tests Kenntnis von der aggressiven Vorgehensweise ihrer Modelle, könnte zumindest bedingter Vorsatz in Betracht kommen.
Dort, wo das deutsche Strafrecht an seine Grenzen stößt, kommt die europäische KI-Verordnung zur Anwendung. Im Gegensatz zum deutschen Recht wird auch keine Zurechnung zu einer schuldigen natürlichen Person vorausgesetzt (vgl. EuGH, Urt. v. 05.12.2023, Az. C-807/21). Auch Vorsatz ist nicht erforderlich, die juristische Person haftet für eigenes Verschulden, inklusive Fahrlässigkeit. Ab dem 2. August kann die EU-Kommission gem. Art. 101 KI-VO (EU) 2024/1689 gegen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck bei Verordnungspflichtverstößen Bußgelder von bis zu drei Prozent des weltweiten Jahresumsatzes oder 15 Millionen Euro verhängen. Eine solche Pflicht ist gem. Art. 55 KI-VO das Management systemischer Risiken und der Cybersicherheit. Dadurch, dass die OpenAI-Modelle aus der isolierten Testumgebung ausbrachen und fremde IT-Infrastrukturen angriffen, liegt eine Verletzung dieser Pflicht nahe.
Es besteht also eine Sanktionsmöglichkeit und somit keine Verantwortungslücke. Zwar erschwert die zunehmende Eigenständigkeit der Modelle die strafrechtliche Zurechnung, hinter der KI stehen jedoch weiterhin Unternehmen und Personen, die sie entwickeln, testen, einsetzen und ihre Ziele bestimmen. Die Verantwortung verschwindet daher nicht, auch wenn das Strafrecht bei autonomem KI-Handeln zunehmend an seine Grenzen stößt.
Ein Link, der zum Regierungsdekret von 2015 leiten soll, führt zu einer Änderungsvorschrift des Dekrets von 2025. Ein weiterer verlinkter Artikel aus dem Jahre 2025 gibt vor, es handele sich um ein Regierungsdekret aus dem Jahre 2026. Die fehlerhaften Verweise des Beschlusses des Verwaltungsgerichts Hessen haben gemeinsam, dass die Links von ChatGPT zur Verfügung gestellt worden sind. Der Hessische Verwaltungsgerichtshof begründete den Einsatz der KI damit, dass der Zugriff auf Quellen aufgrund der Quellenlage in Georgien derart erschwert gewesen sei, dass andere Rechercheinstrumente nicht ohne Weiteres zum gleichen Ergebnis geführt hätten.
Einsatz von KI innerhalb der richterlichen Tätigkeit
Die Fehlerhaftigkeit wirft eine zentrale rechtliche Frage auf. Darf das Gericht ChatGPT zu Recherchezwecken nutzen, wenn die Quellen sich als erkennbar unzuverlässig darstellen?
Dazu muss man einen Blick auf die richterliche Tätigkeit werfen. Der unantastbare Kernbereich der richterlichen Tätigkeit ist geprägt durch die Weisungsfreiheit. Der Richter ist in seiner eigentlichen Rechtsfindung komplett frei von äußeren Einflüssen und Bindungen – weder die Exekutive noch private Dritte dürfen Einfluss ausüben. Dies dient primär dem Schutz der justiziellen Institution und den Verfahrensbeteiligten. Die Rechtsprechung geht dementsprechend davon aus, dass eine verpflichtende Vorgabe zur Nutzung von KI-Tools hier unzulässig sei.
Damit unterliegen auch die Zitierweise und das Abfassen von Entscheidungsgründen der richterlichen Unabhängigkeit gem. Art. 97 GG.
Problematik
Jedoch eröffnet sich hierbei ein zentrales Problemfeld: Die generative KI fasst nicht nur zusammen, sie nimmt eine inhaltliche Vorbewertung vom Wesentlichen vor. Dadurch könnte der KI im Zweifelsfall inhaltlicher Einfluss auf Entscheidungen eingeräumt werden. Hinzu kommt, dass die KI geläufig zu Halluzinationen neigt. Lässt die Anwendung folglich auch fehlerhafte Verlinkungen zu, führt dies wiederum zu einem Vertrauensverlust der Öffentlichkeit in die gründliche Befassung des Gerichts mit dem Sachverhalt.
KI-VO
Die KI-VO fasst dieses Problemfeld auf. Justizielle KI-Systeme sind bereits als hochriskant eingestuft. Dementsprechende Compliance Anforderungen sind hoch. Nach Erwägungsgrund 61 kann die KI die Entscheidungsgewalt unterstützen, wenn gem. Art. 14, Art. 26 Abs. 2 KI-VO eine Aufsichtsperson den möglichen “automation bias” erkennt, die Ausgabe interpretiert und bewertet (vgl. Art. 14 Abs. 4 KI-VO). Überträgt man den Sinngehalt der Vorschrift auf die richterliche Tätigkeit, muss der Richter eigenverantwortlich Sorge tragen, dass die KI sachgemäß eingesetzt wird. Das heißt, keine unüberprüfte Übernahme von Entwürfen und Links.
Fazit
Der Beschluss des Hessischen Verwaltungsgerichtshof verwies auf die passenden Quellen an anderer Stelle. Zudem wurden die Quellen bei der Beratung geprüft. Es ergaben sich zumindest keine inhaltlichen Fehler. Wo Richter:innen früher Fundstellen selbst aufsuchen, lesen und übertragen mussten, kann die Nutzung von KI heute deutlich Zeit und Aufwand sparen. Angesichts der Entlastungswünsche der Justiz ist eine Anwendung – solange sachgemäß – auch zu begrüßen.
Die Juristische Fakultät der Universität Passau hat die statistische Auswertung der bisherigen KI-Korrekturen im Klausurenkurs veröffentlicht, ungekürzt und nur um personenbezogene Angaben bereinigt. Die pseudonymisierten Rohdaten können für wissenschaftliche Zwecke bei der Fakultät angefordert werden.
Die Benotung fällt bislang homogen aus, mit wenigen signifikanten Abweichungen. Sichtbar werden dabei Unterschiede zwischen den eingesetzten KI-Systemen, aber auch zwischen den menschlichen Korrekturen selbst. Dieser Befund passt gut zur Diskussion um subjektive Notengebung.
Wie der zugrunde liegende Workflow entstanden ist, beschreibt Prof. Dr. Rafael Harnos in einem LinkedIn-Beitrag. Ursprünglich wollte er nur eine Testklausur zur Verfügung stellen, für Anschubfinanzierung sorgen, und schauen, was vorhandene Korrekturtools leisten. Den Ausschlag für ein aufwändigeres Projekt gab dann ein Student, der der Fakultät einen selbst geschriebenen Korrekturprompt zuschickte, weil er die menschlichen Korrekturen im Klausurenkurs für wenig brauchbar hielt. Prof. Dr. Michael Beurskens hielt den Prompt für gut, woraufhin Harnos ihn testete und seither weiter ausbaute.
Daraus ist ein fünfstufiger Workflow geworden, der im Passauer “Klausurenportal” hinterlegt ist und ohne KI-Vorkenntnisse bedienbar sein soll. Ein Ausformulierungsprompt macht aus Stichpunkten eine Musterlösung im Gutachtenstil, die ein Veredelungsprompt anschließend um Alternativwege, Weichenstellungen und häufige Fehler ergänzt. Darauf folgt ein Rohpunkteschemaprompt, der ein passendes Punkteschema erstellt, weil längst nicht jede Aufgabenstellerin oder jeder Aufgabensteller eines erarbeitet. Auf dieser Grundlage bewertet der Korrekturprompt die Klausur, bevor ein Berichtsprompt einen Korrekturbericht mit Ampelsystem liefert: Klausuren mit ungewöhnlichen, von der Musterlösung abweichenden Lösungswegen werden markiert und gehen zur Prüfung an einen Menschen zurück. So heißt es: “Die Verantwortung für die Note bleibt beim Menschen.”
Für die zweite Pilotphase soll das entwickelte System Stock2KI eine Klausur von Carolin Maus korrigieren. Den nächsten Test durchläuft das Verfahren im September im Probeexamen.
