Wenn die KI sich sicher irrt
Große Sprachmodelle erfinden Urteile, Quellen und Fakten und klingen dabei vollkommen sicher. Das betrifft alle großen Anbieter. Woher das kommt, warum ausgerechnet die stärksten Modelle oft am meisten danebenliegen und was das für die juristische Praxis heißt. I. Das Problem: überzeugend und falsch zugleich Das Modell nennt ein Urteil mit Aktenzeichen, Datum und Gericht. Es klingt exakt nach dem, was man gesucht hat. Nur existiert dieses Urteil nicht und hat nie existiert.Dieses Verhalten heißt in der KI-Forschung Halluzination: Das Modell produziert eine faktisch falsche Aussage, formuliert sie aber wie eine gesicherte Tatsache. Es zeigt kein Zögern, keine Einschränkung und weist nicht auf Unsicherheit hin. Die eigentliche Gefahr liegt nicht im Fehler selbst, denn auch Menschen irren.. Sie liegt darin, dass das Modell den Fehler nicht als solchen erkennt und deshalb kein Warnsignal sendet. Der Grund ist strukturell: Ein Sprachmodell sagt Wort für Wort voraus, was statistisch als Nächstes plausibel ist.
