{"id":7750,"date":"2024-11-19T00:25:54","date_gmt":"2024-11-18T23:25:54","guid":{"rendered":"https:\/\/recode.law\/?p=7750"},"modified":"2024-12-11T19:56:23","modified_gmt":"2024-12-11T18:56:23","slug":"der-ki-korrektor","status":"publish","type":"post","link":"https:\/\/recode.law\/en\/der-ki-korrektor\/","title":{"rendered":"DeepWrite \u2013 Der KI-Korrektor?"},"content":{"rendered":"

Olesja Kaltenecker und Jeremias Forssman von recode.law im Interview mit Christian Braun, Simon Alexander Nonn und Sarah Gro\u00dfkopf vom Forschungsprojekt DeepWrite der Universit\u00e4t Passau.<\/span><\/p>\n

 <\/p>\n

KI in der Klausurkorrektur\u00a0<\/b><\/p>\n

Juristische Klausuren sind bekannt daf\u00fcr, aufw\u00e4ndig und schwierig zu sein. Das gilt insbesondere f\u00fcr ihre Korrektur. W\u00e4hrend manche Korrigierende bestimmte Aspekte bem\u00e4ngeln, konzentrieren sich weitere auf v\u00f6llig andere Punkte. Studierende haben daher h\u00e4ufig das Gef\u00fchl, dass ihre Ergebnisse dem Zufall \u00fcberlassen sind. Clemens Hufeld fertigte an der LMU eine empirische Untersuchung zur Objektivit\u00e4t juristischer Notengebung an. Bei 230 Korrekturen lag die durchschnittliche Abweichung zwischen niedrigster und h\u00f6chster Note bei 6,47. (Hufeld, ZDRW 1\/2024, S. 58ff.) Hinzu kommt bei der Korrektur juristischer Klausuren die lange Wartezeit. Es vergehen Wochen oder gar Monate, bis die Studierenden ihre Klausuren zur\u00fcckbekommen. So liegen die gemachten Fehler schon weit zur\u00fcck und der Lernerfolg aus der Korrektur ist wesentlich geringer als bei schnellem Feedback.\u00a0<\/span><\/p>\n

Die Universit\u00e4t Passau hat mit dem Projekt DeepWrite einen gro\u00dfen Schritt in Richtung KI-Korrektur(hilfe) gemacht. Denn gerade hier kann die KI mit sofortigem Feedback unterst\u00fctzen.\u00a0<\/span><\/p>\n

Doch k\u00f6nnen juristische Klausuren \u00fcberhaupt mit KI erfolgreich bewertet werden? Welche Vor- und Nachteile zeigen sich dabei und wie gut ist das erzeugte Feedback im Vergleich zu menschlicher Korrektur?<\/span><\/p>\n

In einem Interview mit Mitarbeitenden des Projektes haben wir mehr dazu herausgefunden.<\/span><\/p>\n

 <\/p>\n

Zum Projekt DeepWrite<\/b><\/p>\n

DeepWrite ist ein Forschungsprojekt der Universit\u00e4t Passau, welches vom Bundesministerium f\u00fcr Bildung und Forschung und dem Bayerischen Staatsministerium f\u00fcr Wissenschaft und Kunst gef\u00f6rdert wird. In der Laufzeit vom 1.12.2021 bis 30.11.2025 ist ein Volumen von ca. 2 Millionen Euro abrufbar. Dabei steht das Passauer Projekt in Kontakt mit \u00e4hnlichen Entwicklungsteams wie zum Beispiel dem Projekt Legal Writer an der <\/span>Uni Kassel<\/span><\/a>.<\/span><\/p>\n

Das Ziel des Projektes ist eine durch KI automatisierte Bewertung studentischer Texte hinsichtlich Struktur und Qualit\u00e4t zur F\u00f6rderung der Schreib- und Argumentationskompetenzen. Die juristische Anwendung ist nur ein Teilbereich neben der f\u00fcr Wirtschaftswissenschaften, Informatik und weiteren. Am Ende soll so ein Tool entstehen, welches in der synchronen Lehre sowohl in Pr\u00e4senz- als auch Onlineveranstaltungen, aber auch f\u00fcr das asynchrone Studium eingesetzt werden kann. Jedenfalls ist es nicht gedacht, die Korrektur normaler Klausuren v\u00f6llig zu ersetzen.<\/span><\/p>\n

Die Anwendung soll auch in bestehende Systeme integriert werden k\u00f6nnen. Der Ablauf gestaltet sich wie folgt: Die Arbeitsanweisung an das KI-Modell wird f\u00fcr einen konkreten Fall (eine Klausur, einen Text, usw.) vorbereitet, indem die Anforderungen insbesondere in Form der Musterl\u00f6sung klargestellt werden. Anschlie\u00dfend geben Studierende ihre Klausurl\u00f6sung ein. Diese wird unmittelbar von der KI bewertet, welche ein sofortiges Feedback zu Inhalt und Stil bereitstellt. Wir haben dies an einigen Beispielen erleben d\u00fcrfen. Die R\u00fcckmeldung enth\u00e4lt sowohl positive Anmerkungen als auch konkrete Verbesserungsvorschl\u00e4ge zum Inhalt und zum Gutachtenstil. Im Ganzen wird ein aufbauender Ton gehalten, der die Pr\u00fcflinge eher motivieren soll.\u00a0<\/span><\/p>\n

Denkbar sind insbesondere bei \u00dcbungsklausuren sowohl ein alleiniges Feedback durch die KI als auch eine anschlie\u00dfende erg\u00e4nzende Korrektur durch einen Menschen. In beiden F\u00e4llen werden Ressourcen bedeutend eingespart.<\/span><\/p>\n

 <\/p>\n

Vorteile des Tools<\/b><\/p>\n

Zun\u00e4chst m\u00f6chten wir auf die Vorteile eines KI-Korrektors eingehen. Die KI bewertet anhand objektiver Merkmale, die vorher festgelegt wurden, so findet keine Beeinflussung etwa durch das Schriftbild oder die Laune des Korrigierenden statt. Die KI wird zudem angewiesen, jederzeit Feedback und Vorschl\u00e4ge zur Verbesserung zu geben, was bei herk\u00f6mmlichen Korrekturen nicht immer der Fall ist, wodurch jeder Pr\u00fcfling besser aus seinen Fehlern lernen kann. Insbesondere arbeitet die KI besonders effizient. Sie kann einige Zeit sparen und so Korrigierende entlasten. Zudem erhalten die Pr\u00fcflinge ihr Feedback unmittelbar nach der Klausurl\u00f6sung. So ist es dem Pr\u00fcfling m\u00f6glich, seine Fehler direkt zu realisieren und die Verbesserungsvorschl\u00e4ge f\u00fcr sich umzusetzen, w\u00e4hrend die Baustellen noch im Kopf sind.<\/span><\/p>\n

 <\/p>\n

Herausforderungen des Tools<\/b><\/p>\n

Trotz der Vorteile gibt es allerdings auch Herausforderungen, die ber\u00fccksichtigt werden m\u00fcssen. Ein h\u00e4ufiges Problem des Tools sind die repetitiven Vorschl\u00e4ge, die die KI ausspuckt. So ist das Feedback grunds\u00e4tzlich daf\u00fcr geeignet, konkrete Verbesserungsvorschl\u00e4ge vorzuschlagen, die R\u00fcckmeldungen \u00e4hneln sich allerdings h\u00e4ufig. Au\u00dferdem zeigt das Tool mangelnde Flexibilit\u00e4t bei unerwarteten Ans\u00e4tzen: Wenn Studierende von der Musterl\u00f6sung abweichen, hat die KI Schwierigkeiten, diese zu bewerten. Es ist daher notwendig, dass jeder erdenkbare L\u00f6sungsweg in der Musterl\u00f6sung Ber\u00fccksichtigung findet. Dies kann dahingehend problematisch sein, dass viele juristische Ans\u00e4tze gut vertreten werden k\u00f6nnen, wenn sie hinreichend begr\u00fcndet werden. Die Musterl\u00f6sungen m\u00fcssen daher diese alternativen L\u00f6sungswege ber\u00fccksichtigen, um sie bewerten zu k\u00f6nnen. In der Zukunft kann dies durch fundiertes juristisches Verst\u00e4ndnis \u2013 also bessere Trainingsdaten \u2013 verbessert werden.<\/span><\/p>\n

Bez\u00fcglich des tats\u00e4chlichen Lernerfolgs kann noch wenig gesagt werden, da es keine aussagekr\u00e4ftigen Studien dazu gibt.<\/span><\/p>\n

Das Tool bietet zwar sofortiges Feedback, was ein gro\u00dfer Vorteil ist, erreicht jedoch nicht die gleiche Qualit\u00e4t und Tiefe wie eine (gute) menschliche Korrektur. Allerdings kann auch hier angemerkt werden, dass das Feedback durch die \u00dcberarbeitung des Prompts und auf Grund der allgemeinen Entwicklung von Sprachmodellen stetig verbessert werden kann.<\/span><\/p>\n

Noch m\u00fcssen l\u00e4ngere Klausuren in Sinnabschnitte unterteilt werden, damit das Tool diese bewerten kann. Dies verursacht auch, dass die KI oft noch keine ganzheitliche Stringenz der Arbeit bewerten kann, sondern nur einzelne Abschnitte in sich. Aus diesem Grund beschr\u00e4nkt sich das DeepWrite-Team aktuell auf Fallbearbeitungen, die auf die ersten Semester ausgerichtet sind. Au\u00dferdem haben die Sprachmodelle technisch bedingte Schwierigkeiten mit bestimmten Elementen. Dies kann bei konkreten Normen wie bspw. \u00a7\u00a0812 I 1 Var. 2 BGB zur Folge haben, dass die KI sie nicht richtig erkennt und sie falsch bewertet, da sie in Tokens zerlegt werden. Nichtsdestotrotz k\u00f6nnen diese Hindernisse mit weiterer Forschung und genauen Prompts umgangen werden, was sie erfolgversprechend macht.<\/span><\/p>\n

 <\/p>\n

Fazit<\/b><\/p>\n

Insgesamt sind wir uns sicher, dass der Einsatz von KI zur Korrektur von Juraklausuren ein vielversprechender Ansatz f\u00fcr die Zukunft ist. Viele Studierende erzielen den gr\u00f6\u00dften Lernerfolg durch das eigenst\u00e4ndige L\u00f6sen von F\u00e4llen. Hier setzt das Tool an und kann so in Zukunft einen gro\u00dfen Lernerfolg bewirken. Denn Studierende erhalten direkt nach ihrer Abgabe eine R\u00fcckmeldung durch die KI, was ihnen erm\u00f6glicht, ihre Fehler sofort zu erkennen und daraus zu lernen. Dies unterscheidet sich auch vom blo\u00dfen Abgleichen mit einer Musterl\u00f6sung, da die KI direkt auf den Input eingeht und den L\u00f6sungsansatz bewertet.<\/span><\/p>\n

Allerdings besteht ein wesentlicher Nachteil des Tools in seiner mangelnden Flexibilit\u00e4t, da es bislang auf umfangreiche Musterl\u00f6sungen angewiesen ist, um alternative L\u00f6sungswege abzudecken. Dies macht das System schwerf\u00e4llig und weniger flexibel, wenn Studierende alternative L\u00f6sungsans\u00e4tze w\u00e4hlen. Grund daf\u00fcr ist die oft komplexe juristische Argumentation, die von der KI nur schwer vollst\u00e4ndig erfasst werden kann, sowie die Vielzahl vertretbarer L\u00f6sungen. Umfangreiche Examensklausuren sind daher momentan noch dem menschlichen Korrektor \u00fcberlassen.<\/span><\/p>\n

Trotz diesen Schwierigkeiten ist es jedoch wichtig, die Forschung in diesem Bereich weiterhin voranzutreiben und zu unterst\u00fctzen. Denn mit der rasanten Entwicklung von Sprachmodellen und anderen KI-Technologien wird das Potential dieser Tools immer gr\u00f6\u00dfer. Sie k\u00f6nnen in der Zukunft dabei helfen, Ressourcen bei der Korrektur einzusparen und gleichzeitig den Lernerfolg der Studierenden zu verbessern. Daher sehen wir den Einsatz von KI-Korrektoren als eine spannende Entwicklung, die jedoch noch Zeit und Weiterentwicklung ben\u00f6tigt, um ihr volles Potential aussch\u00f6pfen zu k\u00f6nnen.<\/span><\/p>\n

\"\"<\/p>","protected":false},"excerpt":{"rendered":"

Olesja Kaltenecker und Jeremias Forssman von recode.law im Interview mit Christian Braun, Simon Alexander Nonn und Sarah Gro\u00dfkopf vom Forschungsprojekt DeepWrite der Universit\u00e4t Passau.   KI in der Klausurkorrektur\u00a0 Juristische Klausuren sind bekannt daf\u00fcr, aufw\u00e4ndig und schwierig zu sein. Das gilt insbesondere f\u00fcr ihre Korrektur. W\u00e4hrend manche Korrigierende bestimmte Aspekte bem\u00e4ngeln, konzentrieren sich weitere auf […]<\/p>","protected":false},"author":123,"featured_media":7834,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_lmt_disableupdate":"no","_lmt_disable":"no","footnotes":""},"categories":[50,52],"tags":[],"class_list":["post-7750","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-magazin","category-technologie"],"acf":[],"modified_by":"Jeremias","_links":{"self":[{"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/posts\/7750","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/users\/123"}],"replies":[{"embeddable":true,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/comments?post=7750"}],"version-history":[{"count":9,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/posts\/7750\/revisions"}],"predecessor-version":[{"id":7835,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/posts\/7750\/revisions\/7835"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/media\/7834"}],"wp:attachment":[{"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/media?parent=7750"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/categories?post=7750"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/recode.law\/en\/wp-json\/wp\/v2\/tags?post=7750"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}