Große Sprachmodelle erfinden Urteile, Quellen und Fakten und klingen dabei vollkommen sicher. Das betrifft alle großen Anbieter. Woher das kommt, warum ausgerechnet die stärksten Modelle oft am meisten danebenliegen und was das für die juristische Praxis heißt.
Das Modell nennt ein Urteil mit Aktenzeichen, Datum und Gericht. Es klingt exakt nach dem, was man gesucht hat. Nur existiert dieses Urteil nicht und hat nie existiert.Dieses Verhalten heißt in der KI-Forschung Halluzination: Das Modell produziert eine faktisch falsche Aussage, formuliert sie aber wie eine gesicherte Tatsache. Es zeigt kein Zögern, keine Einschränkung und weist nicht auf Unsicherheit hin.
Die eigentliche Gefahr liegt nicht im Fehler selbst, denn auch Menschen irren.. Sie liegt darin, dass das Modell den Fehler nicht als solchen erkennt und deshalb kein Warnsignal sendet. Der Grund ist strukturell: Ein Sprachmodell sagt Wort für Wort voraus, was statistisch als Nächstes plausibel ist. Es optimiert auf sprachliche Stimmigkeit, nicht auf Wahrheit. Ob eine Aussage stimmt, ist für den Texterzeugungzunächst irrelevant.
Dieser Mechanismus ist kein Defizit eines einzelnen Anbieters, sondern dem heutigen Ansatz gemeinsam. Eine vielbeachtete OpenAI-Studie bringt das auf denPunkt: Modelle halluzinieren, weil Training und Bewertung das Raten belohnen und das Eingestehen von Unsicherheit bestrafen. Die Computerwoche fasste das Ergebnis so zusammen, dass Halluzinationen mathematisch unvermeidbar seien [1]. Menschliche Bewerter bevorzugen selbstsichere, vollständige Antworten gegenüber vorsichtigen. Das gilt für jedes Modell, das nach diesem Prinzip trainiert wird, ob von OpenAI, Google, Anthropic, xAI oder DeepSeek. Das Modell lernt daraus eine simple Regel: Antworte immer, antworte vollständig, klinge überzeugt. Halluzinationen sind damit kein Zufallsfehler, sondern eine eingebaute Eigenschaft des aktuellen Paradigmas.
Vier Ursachen greifen ineinander. Erstens die Trainingsdaten: Wer auf verzerrten oder lückenhaften Daten lernt, übernimmt deren Muster und erzeugt statistisch plausible, faktisch falsche Antworten. Hinzu kommt, dass das Wissen eines Modells auf den Trainingszeitpunkt eingefroren ist. Bei neuen Gesetzen, frischen Urteilen oder aktuellen Ereignissen müsste das Modell passen, liefert aber stattdessen eine plausibel klingende Antwort.
Zweitens die Architektur: Da Modelle auf Flüssigkeit und Lesbarkeit optimiert sind, gehen Zusammenhang und Sprachfluss im Zweifel vor Genauigkeit. Neuere Forschung versucht, diese Fehler nicht nur als Verhalten zu beschreiben, sondern im Netz zu lokalisieren, etwa in bestimmten Attention- und Feedforward-Schichten, die für den Wissensabruf zuständig sind. Weichen sie ab, steigt die Fehlerzahl messbar. Praktisch interessant ist das, weil sich dort gezielt eingreifen ließe, ohne das ganze Modell neu zu trainieren. Bisher funktioniert das aber nur unter Laborbedingungen.
Drittens der Anreiz zur Selbstsicherheit: Über das Reinforcement Learning mit menschlichem Feedback verstärkt sich genau die Tendenz, lieber überzeugend als vorsichtig zu klingen. Je breiter ein Modell für den Massenmarkt optimiert wird, desto tiefer sitzt dieser Anreiz in seinen Gewichten.
Viertens ein oft übersehener Stellhebel, der keine Ursache im eigentlichen Sinn ist, aber die Fehlerwahrscheinlichkeit direkt mitbestimmt: die Temperatur. Dieser Parameter verändert bei der Texterzeugung die Wahrscheinlichkeitsverteilung über die möglichen nächsten Token: Eine niedrige Temperatur erhöht die Chance, dass das wahrscheinlichste Token gewählt wird, eine hohe Temperatur erhöht die Chance auf weniger wahrscheinliche Token [11]. Für Aufgaben, die auf Präzision und sachliche Genauigkeit angewiesen sind, wie juristische Recherche, ist eine niedrige Temperatur deshalb die naheliegende Einstellung, während hohe Werte eher kreativen Aufgaben nützen [11]. Die Wirkung darf aber nicht überschätzt werden: Peeperkorn et al. fanden nur eine schwache Korrelation zwischen Temperatur und der Neuartigkeit der Ausgabe, keine mit Kohäsion oder Typizität [11]. Eine niedrige Temperatur macht ein Modell also berechenbarer, nicht automatisch wahrheitsgetreuer. Sie reduziert die Varianz der Tokenauswahl, nicht die Tendenz des Modells, sich beim Wissensabruf zu irren. Praktisch relevant: Consumer-Oberflächen wie ChatGPT, Claude.ai oder Copilot geben Nutzern in der Regel keinen direkten Zugriff auf diesen Parameter, konfigurierbar ist er nur über die API. Für die anwaltliche Praxis mit Standard-Chat-Oberflächen ist die Temperatur damit meist kein verfügbarer Hebel gegen Halluzinationen, sondern ein Faktor, der im Hintergrund vom Anbieter festgelegt wird.
Die Zahlen widersprechen dem Bild, das die Anbieter zeichnen, und zwar quer durch die Branche. Am besten dokumentiert ist OpenAI, weil das Unternehmen eigene Messwerte veröffentlicht. In seinem PersonQA-Benchmark, der Faktenfragen zu Personen stellt, halluzinierte das Vorgängermodell o1 in 16 Prozent der Fälle, o3 verdoppelte das auf 33 Prozent, o4-mini lag bei 48 Prozent [2,3,4]. OpenAI selbst schreibt, man brauche mehr Forschung, um zu verstehen, warum [2].
Dass dies kein Einzelfall eines Hauses ist, zeigt der herstellerunabhängige Vectara-Vergleich, der misst, wie treu Modelle bei der Zusammenfassung vorgelegter Texte bleiben. Auf dem anspruchsvolleren Datensatz überschreiten sämtliche getesteten Reasoning-Modelle die Zehn-Prozent-Marke, darunter Googles Gemini, Anthropics Claude, xAIs Grok und DeepSeek. Besonders aufschlussreich ist DeepSeek selbst: Das Reasoning-Modell R1 halluzinierte mit 14,3 Prozent fast viermal so oft wie das Basismodell V3 mit 3,9 Prozent. Das ist derselbe Effekt wie bei OpenAI, nur bei einem anderen Anbieter [5].
Dass neuere, teurere Modelle mehr statt weniger irren, gilt als eine der zentralen offenen Fragen im Feld und wurde im Frühjahr 2025 breit aufgegriffen [4]. Der Befund betrifft ausdrücklich die Reasoning-Modelle von OpenAI, Google und DeepSeek gleichermaßen. Drei Erklärungen dominieren. Erstens synthetische Trainingsdaten: Hochwertiger menschlicher Text wird knapp, also trainieren Modelle zunehmend auf KI-generiertem Text, wodurch sich Fehler der Vorgängergeneration einschleichen und verstärken. Zweitens der Reasoning-Overhead: Reasoning-Modelle erzeugen interne Zwischenschritte, bevor sie antworten. Das hilft bei komplexen Aufgaben, vervielfacht aber die Stellen, an denen ein Fehler entstehen und sich durch die ganze Antwort ziehen kann. Drittens der bereits genannte Anreiz zur Selbstsicherheit.
Das Bild ist nicht durchweg düster. Bei eng umrissenen Aufgaben wie der Zusammenfassung eines vorgelegten Textes erreichen die besten Modelle verschiedener Anbieter inzwischen ein bis zwei Prozent, im Vectara-Vergleich liegen etwa Googles Gemini-Modelle vorn [5]. Sobald das Modell aber auf eigenes Wissen zurückgreifen muss, bei Fachfragen, seltenen Fakten oder aktuellen Ereignissen, liegen die Raten regelmäßig im zweistelligen Bereich.
Wie sehr das im Alltag durchschlägt, zeigte im Oktober 2025 eine groß angelegte Untersuchung der Europäischen Rundfunkunion unter Federführung der BBC und mit Beteiligung von ARD und ZDF, die Studie News Integrity in AI Assistants. Bei Nachrichtenfragen enthielten 45 Prozent aller KI-Antworten mindestens einen erheblichen Fehler, 31 Prozent hatten Probleme bei den Quellenangaben, 20 Prozent waren ungenau, halluziniert oder veraltet [6]. Getestet wurden die gängigen Assistenten von OpenAI, Microsoft, Google und Perplexity, das Problem zog sich also durch alle Systeme. Ein erheblicher Teil dieser Fehler entsteht nicht im Modellgedächtnis, sondern durch die Websuche, die ungeprüfte und teils gezielt gestreute Quellen einspeist, während die früher übliche Antwortverweigerung praktisch verschwunden ist. Zwei verschiedene Mechanismen, dieselbe Folge: mehr falsche, selbstbewusst vorgetragene Antworten.
Besonders unangenehm ist, dass Modelle eine einmal getroffene falsche Aussage oft nicht zurücknehmen, sondern verteidigen, auch wenn man sie auf den Fehler hinweist. Die Stanford-Studie zu juristischen Halluzinationen zeigt genau das: Sprachmodelle korrigieren falsche Annahmen der Nutzer häufig nicht, sondern bestärken sie [10]. Sie werden nicht vorsichtiger, sondern überzeugender.
Die Forschung zu Gegenmaßnahmen ist breit, Übersichtsarbeiten werten inzwischen hunderte Einzelstudien aus. Drei Ansätze prägen die Debatte.
Retrieval-Augmented Generation (RAG) lässt das Modell zur Laufzeit geprüfte, aktuelle Quellen heranziehen, statt aus dem Gedächtnis zu antworten. Das senkt Halluzinationen spürbar, aber nur für Fragen, die die verfügbaren Quellen abdecken, und nie vollständig. Multi-Agenten-Systeme lassen ein zweites Modell die Antwort des ersten prüfen. Erste Ergebnisse aus Medizin und Radiologie sind vielversprechend, doch sind solche Systeme unter Realbedingungen noch wenig erprobt. Gezieltes Abstinenztraining bringt Modelle dazu, bei Unsicherheit lieber nichts zu sagen als etwas Falsches. Die bereits erwähnte OpenAI-Studie zeigt den Mechanismus deutlich: Ein Modell, das in rund der Hälfte der unsicheren Fälle abstinent bleibt, produziert weit weniger falsche Antworten als eines, das fast immer rät [1]. Der Haken: Nutzer empfinden zurückhaltende Modelle als weniger nützlich; der Marktdruck zieht also in die Gegenrichtung.
Lässt sich das Problem ganz beseitigen? Nach heutigem Stand höchstwahrscheinlich nicht, jedenfalls nicht mit dem dominierenden statistischen Paradigma. Die statistische Natur der Modelle macht Halluzinationen zu einer eingebauten Schwachstelle, nicht zu einem Zufallsfehler. Amr Awadallah, Gründer des darauf spezialisierten Unternehmens Vectara, formuliert es knapp: Sie werden immer halluzinieren, das verschwindet nie [9]. Realistisch ist daher: kontrollierbar für spezifische Anwendungen, aber nicht ausgerottet.
Im Recht treffen diese Schwachstellen auf besonders hohe Anforderungen. Ein Text, der juristisch korrekt klingt, aber nicht stimmt, ist keine halbrichtige Antwort, sondern eine falsche. Das ist kein hypothetisches Risiko mehr. Die Datenbank des Juristen Damien Charlotin zählt weltweit bereits über 1.600 Gerichtsentscheidungen, die sich mit halluziniertem Material befassen, rund 90 Prozent davon aus dem Jahr 2025 [7]. In den USA reichen die Sanktionen von einigentausend US-Dollar bis zu 31.100 US-Dollar, die ein kalifornisches Gericht im Mai 2025 zwei Kanzleien für die Kosten gegnerischer Recherche auferlegte [7].
Auch in Deutschland ist der Fall angekommen. Das Amtsgericht Köln rügte am 2. Juli 2025 einen Fachanwalt, dessen Schriftsatz ab einer bestimmten Seite ausschließlich erfundene Urteile, Randziffern und Literaturstellen enthielt, und sah darin einen möglichen Verstoß gegen die anwaltliche Wahrheitspflicht aus § 43a Abs. 3 BRAO (Az. 312 F 130/25). Das Landgericht Frankfurt am Main deckte am 25. September 2025 frei erfundene Zitate eines angeblich höchstrichterlichen Urteils auf, die ein Anwalt zur Streitwertberechnung vorgelegt hatte (Az. 2-13 S 56/24) [8].
Eine Studie der Stanford-Forschungsgruppe RegLab benennt das Kernrisiko und belegt es mit Zahlen: Bei spezifischen, überprüfbaren Rechtsfragen halluzinierten allgemeine Sprachmodelle in69 bis88 Prozent der Fälle, und selbst erfahrene Juristinnen und Juristen müssen vor solchen Halluzinationen auf der Hut sein, weil die Modelle ihre Fehler nicht zuverlässig erkennen [10]. Die Konsequenz ist nicht, auf KI zu verzichten, denn der Effizienzgewinn ist real. Die Konsequenz ist, jeden KI-Output in rechtlich relevanten Kontexten als Arbeitsgrundlage zu behandeln, nicht als Ergebnis. Jedes zitierte Urteil, jede Normbehauptung muss geprüft werden. Diese Prüfung ist nicht optional, sie ist Teil der anwaltlichen Sorgfaltspflicht.
KI-Halluzinationen sind kein Anfängerproblem, das mit mehr Rechenleistung von selbst verschwindet. Sie folgen daraus, wie diese Modelle aufgebaut sind, und die aktuellen Daten zeigen, dass die neuesten Systeme in vielen Kontexten mehr irren, nicht weniger. RAG, gegenseitige Kontrolle und Abstinenztraining helfen in spezifischen Anwendungen erheblich, lösen das Problem aber nicht. Für die Praxis heißt das: Menschliche Überprüfung ist kein lästiger Zusatzschritt, sondern notwendiger Bestandteil jedes seriösen KI-Workflows. Die Frage ist nicht, ob Modelle irren, sondern ob unsere Prozesse so gebaut sind, dass wir es merken.
[1] Computerwoche: OpenAI: KI-Halluzinationen sind mathematisch unvermeidbar (Sept. 2025). https://www.computerwoche.de/article/4059536/openai-ki-halluzinationen-sind-mathematisch-unvermeidbar.html
[2] OpenAI: o3 and o4-mini System Card (16. April 2025), PersonQA-Halluzinationsraten. https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf
[3] t3n: Neue Reasoning-Modelle von OpenAI neigen noch häufiger zu Halluzinationen (April 2025). https://t3n.de/news/neue-reasoning-modelle-von-openai-neigen-noch-haeufiger-zu-halluzinationen-1683825/
[4] heise online: OpenAI bringt o3 und o4-mini raus (April 2025), https://www.heise.de/news/OpenAI-bringt-o3-und-o4-mini-raus-10355096.html; ComputerBase: OpenAIs neue Modelle halluzinieren mehr als die Vorgänger (April 2025), https://www.computerbase.de/news/apps/o3-und-o4-mini-openais-neue-modelle-halluzinieren-mehr-als-die-vorgaenger.92272/
[5] Vectara Hallucination Leaderboard (herstellerunabhängiger Vergleich, HHEM). https://github.com/vectara/hallucination-leaderboard
[6] EBU/BBC: News Integrity in AI Assistants (22. Okt. 2025), mit ARD und ZDF. ARD-Pressemeldung: https://www.ard.de/die-ard/presse-und-kontakt/ard-pressemeldungen/2025/10-22-Internationale-EBU-Studie-zur-Nachrichtenqualitaet-von-KI-Systemen-100/; heise online: https://www.heise.de/news/Europaeische-Rundfunkunion-KI-Systeme-geben-Nachrichteninhalte-oft-falsch-wider-10796779.html
[7] Charlotin: AI Hallucination Cases Database. https://www.damiencharlotin.com/hallucinations/; US-Sanktion (31.100 USD) bei CalMatters: https://calmatters.org/economy/technology/2025/09/chatgpt-lawyer-fine-ai-regulation/
[8] AG Köln, Beschluss vom 02.07.2025, Az. 312 F 130/25 (Aufbereitung: https://www.ferner-alsdorf.de/halluziniert-gericht-wirft-rechtsanwalt-ki-schriftsatz-vor/); LG Frankfurt am Main, Beschluss vom 25.09.2025, Az. 2-13 S 56/24 (Aufbereitung: https://www.jura.cc/rechtstipps/ki-fehlzitate-vor-gericht-was-anwaeltinnen-und-anwaelte-jetzt-wissen-muessen/)
[9] Awadallah (Vectara) zu unvermeidbaren Halluzinationen, zit. nach New York Times (Mai 2025); frei zugänglich u. a. bei Futurism: https://futurism.com/ai-industry-problem-smarter-hallucinating
[10] Dahl, Magesh, Suzgun, Ho: Large Legal Fictions. Profiling Legal Hallucinations in Large Language Models. Stanford RegLab / HAI, Journal of Legal Analysis (2024). https://reglab.stanford.edu/publications/hlarge-legal-fictions-profiling-legal-hallucinations-in-large-language-models/
[11] IBM: Was ist die LLM-Temperatur? (Joshua Noble); dort auch Peeperkorn, Kouwenhoven, Brown, Jordanous: Is Temperature the Creativity Parameter of Large Language Models? (2024). https://www.ibm.com/de-de/think/topics/llm-temperature
