Olesja Kaltenecker und Jeremias Forssman von recode.law im Interview mit Christian Braun, Simon Alexander Nonn und Sarah Großkopf vom Forschungsprojekt DeepWrite der Universität Passau.

KI in der Klausurkorrektur 

Juristische Klausuren sind bekannt dafür, aufwändig und schwierig zu sein. Das gilt insbesondere für ihre Korrektur. Während manche Korrigierende bestimmte Aspekte bemängeln, konzentrieren sich weitere auf völlig andere Punkte. Studierende haben daher häufig das Gefühl, dass ihre Ergebnisse dem Zufall überlassen sind. Clemens Hufeld fertigte an der LMU eine empirische Untersuchung zur Objektivität juristischer Notengebung an. Bei 230 Korrekturen lag die durchschnittliche Abweichung zwischen niedrigster und höchster Note bei 6,47. (Hufeld, ZDRW 1/2024, S. 58ff.) Hinzu kommt bei der Korrektur juristischer Klausuren die lange Wartezeit. Es vergehen Wochen oder gar Monate, bis die Studierenden ihre Klausuren zurückbekommen. So liegen die gemachten Fehler schon weit zurück und der Lernerfolg aus der Korrektur ist wesentlich geringer als bei schnellem Feedback. 

Die Universität Passau hat mit dem Projekt DeepWrite einen großen Schritt in Richtung KI-Korrektur(hilfe) gemacht. Denn gerade hier kann die KI mit sofortigem Feedback unterstützen. 

Doch können juristische Klausuren überhaupt mit KI erfolgreich bewertet werden? Welche Vor- und Nachteile zeigen sich dabei und wie gut ist das erzeugte Feedback im Vergleich zu menschlicher Korrektur?

In einem Interview mit Mitarbeitenden des Projektes haben wir mehr dazu herausgefunden.

Zum Projekt DeepWrite

DeepWrite ist ein Forschungsprojekt der Universität Passau, welches vom Bundesministerium für Bildung und Forschung und dem Bayerischen Staatsministerium für Wissenschaft und Kunst gefördert wird. In der Laufzeit vom 1.12.2021 bis 30.11.2025 ist ein Volumen von ca. 2 Millionen Euro abrufbar. Dabei steht das Passauer Projekt in Kontakt mit ähnlichen Entwicklungsteams wie zum Beispiel dem Projekt Legal Writer an der Uni Kassel.

Das Ziel des Projektes ist eine durch KI automatisierte Bewertung studentischer Texte hinsichtlich Struktur und Qualität zur Förderung der Schreib- und Argumentationskompetenzen. Die juristische Anwendung ist nur ein Teilbereich neben der für Wirtschaftswissenschaften, Informatik und weiteren. Am Ende soll so ein Tool entstehen, welches in der synchronen Lehre sowohl in Präsenz- als auch Onlineveranstaltungen, aber auch für das asynchrone Studium eingesetzt werden kann. Jedenfalls ist es nicht gedacht, die Korrektur normaler Klausuren völlig zu ersetzen.

Die Anwendung soll auch in bestehende Systeme integriert werden können. Der Ablauf gestaltet sich wie folgt: Die Arbeitsanweisung an das KI-Modell wird für einen konkreten Fall (eine Klausur, einen Text, usw.) vorbereitet, indem die Anforderungen insbesondere in Form der Musterlösung klargestellt werden. Anschließend geben Studierende ihre Klausurlösung ein. Diese wird unmittelbar von der KI bewertet, welche ein sofortiges Feedback zu Inhalt und Stil bereitstellt. Wir haben dies an einigen Beispielen erleben dürfen. Die Rückmeldung enthält sowohl positive Anmerkungen als auch konkrete Verbesserungsvorschläge zum Inhalt und zum Gutachtenstil. Im Ganzen wird ein aufbauender Ton gehalten, der die Prüflinge eher motivieren soll. 

Denkbar sind insbesondere bei Übungsklausuren sowohl ein alleiniges Feedback durch die KI als auch eine anschließende ergänzende Korrektur durch einen Menschen. In beiden Fällen werden Ressourcen bedeutend eingespart.

Vorteile des Tools

Zunächst möchten wir auf die Vorteile eines KI-Korrektors eingehen. Die KI bewertet anhand objektiver Merkmale, die vorher festgelegt wurden, so findet keine Beeinflussung etwa durch das Schriftbild oder die Laune des Korrigierenden statt. Die KI wird zudem angewiesen, jederzeit Feedback und Vorschläge zur Verbesserung zu geben, was bei herkömmlichen Korrekturen nicht immer der Fall ist, wodurch jeder Prüfling besser aus seinen Fehlern lernen kann. Insbesondere arbeitet die KI besonders effizient. Sie kann einige Zeit sparen und so Korrigierende entlasten. Zudem erhalten die Prüflinge ihr Feedback unmittelbar nach der Klausurlösung. So ist es dem Prüfling möglich, seine Fehler direkt zu realisieren und die Verbesserungsvorschläge für sich umzusetzen, während die Baustellen noch im Kopf sind.

Herausforderungen des Tools

Trotz der Vorteile gibt es allerdings auch Herausforderungen, die berücksichtigt werden müssen. Ein häufiges Problem des Tools sind die repetitiven Vorschläge, die die KI ausspuckt. So ist das Feedback grundsätzlich dafür geeignet, konkrete Verbesserungsvorschläge vorzuschlagen, die Rückmeldungen ähneln sich allerdings häufig. Außerdem zeigt das Tool mangelnde Flexibilität bei unerwarteten Ansätzen: Wenn Studierende von der Musterlösung abweichen, hat die KI Schwierigkeiten, diese zu bewerten. Es ist daher notwendig, dass jeder erdenkbare Lösungsweg in der Musterlösung Berücksichtigung findet. Dies kann dahingehend problematisch sein, dass viele juristische Ansätze gut vertreten werden können, wenn sie hinreichend begründet werden. Die Musterlösungen müssen daher diese alternativen Lösungswege berücksichtigen, um sie bewerten zu können. In der Zukunft kann dies durch fundiertes juristisches Verständnis – also bessere Trainingsdaten – verbessert werden.

Bezüglich des tatsächlichen Lernerfolgs kann noch wenig gesagt werden, da es keine aussagekräftigen Studien dazu gibt.

Das Tool bietet zwar sofortiges Feedback, was ein großer Vorteil ist, erreicht jedoch nicht die gleiche Qualität und Tiefe wie eine (gute) menschliche Korrektur. Allerdings kann auch hier angemerkt werden, dass das Feedback durch die Überarbeitung des Prompts und auf Grund der allgemeinen Entwicklung von Sprachmodellen stetig verbessert werden kann.

Noch müssen längere Klausuren in Sinnabschnitte unterteilt werden, damit das Tool diese bewerten kann. Dies verursacht auch, dass die KI oft noch keine ganzheitliche Stringenz der Arbeit bewerten kann, sondern nur einzelne Abschnitte in sich. Aus diesem Grund beschränkt sich das DeepWrite-Team aktuell auf Fallbearbeitungen, die auf die ersten Semester ausgerichtet sind. Außerdem haben die Sprachmodelle technisch bedingte Schwierigkeiten mit bestimmten Elementen. Dies kann bei konkreten Normen wie bspw. § 812 I 1 Var. 2 BGB zur Folge haben, dass die KI sie nicht richtig erkennt und sie falsch bewertet, da sie in Tokens zerlegt werden. Nichtsdestotrotz können diese Hindernisse mit weiterer Forschung und genauen Prompts umgangen werden, was sie erfolgversprechend macht.

Fazit

Insgesamt sind wir uns sicher, dass der Einsatz von KI zur Korrektur von Juraklausuren ein vielversprechender Ansatz für die Zukunft ist. Viele Studierende erzielen den größten Lernerfolg durch das eigenständige Lösen von Fällen. Hier setzt das Tool an und kann so in Zukunft einen großen Lernerfolg bewirken. Denn Studierende erhalten direkt nach ihrer Abgabe eine Rückmeldung durch die KI, was ihnen ermöglicht, ihre Fehler sofort zu erkennen und daraus zu lernen. Dies unterscheidet sich auch vom bloßen Abgleichen mit einer Musterlösung, da die KI direkt auf den Input eingeht und den Lösungsansatz bewertet.

Allerdings besteht ein wesentlicher Nachteil des Tools in seiner mangelnden Flexibilität, da es bislang auf umfangreiche Musterlösungen angewiesen ist, um alternative Lösungswege abzudecken. Dies macht das System schwerfällig und weniger flexibel, wenn Studierende alternative Lösungsansätze wählen. Grund dafür ist die oft komplexe juristische Argumentation, die von der KI nur schwer vollständig erfasst werden kann, sowie die Vielzahl vertretbarer Lösungen. Umfangreiche Examensklausuren sind daher momentan noch dem menschlichen Korrektor überlassen.

Trotz diesen Schwierigkeiten ist es jedoch wichtig, die Forschung in diesem Bereich weiterhin voranzutreiben und zu unterstützen. Denn mit der rasanten Entwicklung von Sprachmodellen und anderen KI-Technologien wird das Potential dieser Tools immer größer. Sie können in der Zukunft dabei helfen, Ressourcen bei der Korrektur einzusparen und gleichzeitig den Lernerfolg der Studierenden zu verbessern. Daher sehen wir den Einsatz von KI-Korrektoren als eine spannende Entwicklung, die jedoch noch Zeit und Weiterentwicklung benötigt, um ihr volles Potential ausschöpfen zu können.

Last Updated on 27. November 2024