Alle verifizieren juristische KI. Fast niemand verifiziert sie gegen etwas Reales.

In dieser Woche fanden wir uns in drei voneinander unabhängigen Gesprächen wieder, die alle dasselbe Wort, Verifikation, verwendeten, um damit drei verschiedene Dinge zu bezeichnen. Eines war mit einer Plattform, die KI-Ausgaben anhand eines Bewertungsrasters bewertet. Eines ging von einem Paper aus Stanford, Berkeley und NVIDIA aus, das ein von uns verfolgter LegalTech-Newsletter scharf aufgeschlüsselt hatte. Eines betraf die nächste Compliance-Frist der EU-KI-Verordnung, zum Zeitpunkt der Niederschrift elf Tage entfernt. Nebeneinandergelegt, ordnen sie sich fast perfekt drei separaten Ebenen zu, die die Branche immer wieder unter ein einziges Wort zusammenfasst, und der Rechtsbereich ist die Domäne, in der dieses Zusammenfassen am meisten kostet, denn der Preis dafür, selbstsicher falsch zu liegen, ist eine Zitierung, die nicht existiert, oder ein Holding, das nicht dem entspricht, was ein Memo behauptet.

Hier ist die Taxonomie, und dann der technische Teil: was es tatsächlich erfordert, die dritte Ebene zu bauen, jene, die fast niemand baut, weil sie von den dreien am wenigsten verallgemeinerbar und am teuersten ist.

Drei Dinge, die man "Verifikation" nennt

Offenlegungsverifikation. Haben Sie dem Nutzer gesagt, dass er mit einem System spricht und nicht mit einer Person? Haben Sie die synthetischen Inhalte gekennzeichnet? Haben Sie Ihre Mitarbeiter über die Risiken der von ihnen genutzten Werkzeuge geschult? Dies entspricht Artikel 4 (KI-Kompetenz, der seit dem 2. Februar 2025 gilt) und Artikel 50 (Transparenz, durchsetzbar ab dem 2. August 2026) der KI-Verordnung. Sie ist real und nicht optional, und sie ist auf Marktebene prüfbar, gerade weil sie von niemandem verlangt zu überprüfen, ob die zugrunde liegende Ausgabe korrekt ist. Eine Regulierungsbehörde kann bestätigen, dass ein Schulungsprogramm stattgefunden hat. Eine Regulierungsbehörde kann nicht, über einen gesamten Markt hinweg, bestätigen, dass eine bestimmte juristische Analyse richtig war.Quellen: KI-Verordnung (EU) 2024/1689

Confidence-Verifikation. Ein LLM bewertet die Ausgabe eines anderen LLM anhand eines Bewertungsrasters und gibt einen Score zurück. Dies ist derzeit die sich am schnellsten bewegende Ebene, und sie verbessert sich tatsächlich. Die interessante jüngste Entwicklung ist ein Paper namens LLM-as-a-Verifier (Kwok et al., Stanford, Berkeley und NVIDIA, arxiv.org/abs/2607.05391), das feststellte, dass ein Standard-Bewertungsmodell, das eine Kandidatenantwort auf einer Fünf-Punkte-Skala bewerten soll, fast sein gesamtes eigenes Signal in dem Moment verwirft, in dem es eine einzelne ganze Zahl ausgibt. Unter dieser ganzen Zahl liegt eine vollständige Wahrscheinlichkeitsverteilung über jeden möglichen Score, und diese Verteilung statt der gerundeten Ausgabe zu lesen, macht aus einem groben, zu Gleichständen neigenden Bewerter einen weitaus schärferen. Bei einem schwierigen Coding-Benchmark bewertet ein diskreter Bewerter zwei Kandidatenantworten in 26,7 Prozent der Fälle gleich. Stattdessen den kontinuierlichen Erwartungswert zu lesen, ergibt bei demselben Benchmark null Gleichstände, und bei einem von den Autoren analysierten adversarialen Beispiel, einem subtilen Validierungstrick, den ein diskreter Bewerter in 88 von 100 Fällen übersah, erkennt ihn die kontinuierliche Version in der Mehrzahl der Fälle korrekt, und zwar umso mehr, je feiner die Bewertungsskala wird.Quellen: LLM-as-a-Verifier (Kwok et al., arXiv:2607.05391)

Das ist ein echter, nützlicher Fortschritt, und er kostet nichts in der Umsetzung: kein Training, nur eine andere Auslesung der Logits, die ein laufendes Modell ohnehin berechnet. Doch die Benchmarks des Papers selbst teilen eine Eigenschaft, zu der sich die Autoren offen bekennen: jeder kommt mit einem eindeutigen Lösungsschlüssel, einem verborgenen Test, der sich sauber auflöst, einem Roboter, der das Objekt entweder greift oder nicht. Marco Rossi, der den Newsletter The LegalTech Overlap schreibt, nahm diese Grenze und baute seinen eigenen Test aus vier Fragen dafür, wo die Technik einen Platz auf dem Schreibtisch eines Anwalts verdient, beginnend mit der Frage, ob die Aufgabe überhaupt einen überprüfbaren Begriff von richtig besitzt. Wo sie das nicht tut, ist ein glatter, selbstsicherer Score keine Verbesserung gegenüber einem ehrlichen Gleichstand. In Rossis Darstellung kleidet eine solche Zahl eine umstrittene Wertung in "the costume of a measurement", das Kostüm einer Messung, und verleitet den Leser dazu, auf etwas zu vertrauen, das nie tatsächlich gemessen wurde. Der eine Fall, den er als jenen benennt, der jedes seiner vier Tore ohne Zögern passiert, ist die Prüfung, ob eine Zitierung in einem juristischen Memo tatsächlich existiert und tatsächlich das stützt, wofür sie zitiert wird.

Quellenverifikation. Stimmt die konkrete tatsächliche oder rechtliche Behauptung, die vor Ihnen liegt, mit einer bestimmten, realen, überprüfbaren, aktuellen, jurisdiktionskorrekten Quelle überein? Dies ist die engste der drei, die am schwersten zu bauende und diejenige, die sich am wenigsten verallgemeinern lässt, weil sie einen tatsächlichen Domänen-Korpus benötigt, keinen Allzweck-Bewerter. Es ist zudem die Ebene, die weder die Offenlegung noch das Confidence Scoring überhaupt berührt.

Was Quellenverifikation tatsächlich erfordert

Dies ist der Teil, den man leicht andeuten und schwer bauen kann, deshalb folgt hier, was es mechanisch tatsächlich erfordert.

Ein realer, aktueller, jurisdiktionskorrekter Korpus. Man kann eine Zitierung nicht gegen das verifizieren, woran sich ein Modell erinnert, denn woran sich ein Modell erinnert, ist genau das, was die Halluzination überhaupt erst hervorgebracht hat. Man braucht einen abrufbaren Bestand an tatsächlichem Primärquellentext, Gesetzen und Rechtsprechung, der aktuell ist (ein im vergangenen Jahr aufgehobener Artikel kann eine Behauptung über das heutige Recht nicht stützen, der Korpus benötigt also eine zeitliche Dimension, nicht nur eine statische Momentaufnahme) und jurisdiktionskorrekt (dieselbe Doktrin bedeutet über Jurisdiktionen hinweg etwas Verschiedenes, und stillschweigend auf die Regel einer Jurisdiktion zurückzufallen, als wäre sie universell, ist ein eigener stiller Fehlermodus, leicht zu übersehen, wenn die Testdaten zufällig dorthin tendieren, wo das System zuerst gebaut wurde).

Holding-Abgleich, nicht Vektornähe. Retrieval führt in die richtige Nachbarschaft. Embedding-Ähnlichkeit liefert bereitwillig einen realen, existierenden Fall, der thematisch an die vorliegende Behauptung angrenzt, und thematische Nähe ist nicht dasselbe wie ein Fall, der tatsächlich das aussagt, wofür er zitiert wird. Eine Zitierung kann auf ein echtes Urteil verweisen und dennoch dessen Holding (ratio decidendi) falsch wiedergeben, und dieser Fehlermodus besteht eine Existenzprüfung sauber, was ihn gefährlicher macht als einen erfundenen Fall, da ein erfundener Fall sich zumindest manchmal durch eine naive Existenzsuche aufspüren lässt. Eine zweite, unabhängige Prüfung muss die konkrete Behauptung an den konkreten Quellentext binden, nicht bloß bestätigen, dass in der Nähe etwas Plausibles aufgetaucht ist.

Unabhängiges Audit, keine Selbstbewertung. Der Prozess, der eine Antwort erzeugt, ist strukturell der falsche Prozess, um zu fragen, ob diese Antwort korrekt ist. Ein Modell, das selbstsicher genug ist, eine Zitierung zu erfinden, wird nicht dadurch, dass ihm eine Nachfrage gestellt wird, plötzlich skeptischer gegenüber seiner eigenen Ausgabe. Dies ist das eigentliche Argument dafür, Erzeugung und Verifikation in zwei unabhängige Durchläufe aufzuteilen, nicht ein Modell, das seine eigenen Hausaufgaben benotet, sondern zwei Prozesse, die darauf angelegt sind, einander wirklich zu widersprechen, wobei die gesamte Aufgabe des zweiten darin besteht, die Behauptung des ersten zu widerlegen statt sie zu bestätigen.

Zerlegung, adversarial getestet, nicht nur einmal entworfen. Eine einzelne vage Frage, ist diese Zitierung korrekt, verbirgt eine Handvoll engerer, wirklich überprüfbarer Fragen: existiert die zitierte Fundstelle, stimmt das Datum, stimmt der Betrag, sagt das Holding tatsächlich das aus, was behauptet wird. Die Frage aufzuspalten, ist dort, wo der Großteil der Genauigkeit liegt, und es ist auch dort, wo das Risiko lauert, denn ein von Hand gebautes Bewertungsraster schützt nur gegen die Fehlermodi, an die sein Autor gedacht hat. Die gefährliche Lücke in einer Zerlegung ist nie die Teilprüfung, die offensichtlich fehlt, es ist jene, die niemand geschrieben hat, weil niemand an genau diese Art, auf subtile Weise falsch zu sein, gedacht hat. In der Praxis bedeutet das adversariales Testen gegen bestimmte Kategorien von Mutationen, die die oberflächliche Plausibilität bewahren, während sie die tatsächliche Bedeutung umkehren: eine umgedrehte Verneinung, kann zu kann nicht, ein leise abgeschwächter Quantor, alle zu einige, eine um den Faktor zehn veränderte Größenordnung, fünfhundert Milligramm zu fünftausend, eine in Worten ausgeschriebene Summe, die zwei Sätze später nicht mehr mit den Ziffern übereinstimmt, ein Datum, verschoben um genau jene Art kleiner Änderung, die eine nachlässige Paraphrase einführt. Jede einzelne davon benötigt ihren eigenen expliziten, ausführbaren Test, in jeder Sprache, in der das System läuft, denn eine Mutation, die ein Verifizierer in einer Sprache abfängt, kann in einer Sprache, für die niemand einen Test gebaut hat, stillschweigend durchgehen, und eine Garantie, die in einer Sprache hält, während sie in einer anderen leise versagt, ist schlimmer als gar keine Garantie, da sie von außen wie Abdeckung aussieht.

Enthaltung als erstklassige Ausgabe, nicht als Notlösung. Ein Verifikationssystem braucht eine echte dritte Antwort, nicht nur verifiziert oder nicht verifiziert, sondern eine ausdrückliche Feststellung, dass eine gegebene Behauptung schlicht nicht die Art von Sache ist, die sich überprüfen lässt, samt der Begründung dafür. Die meisten juristischen KI-Produkte sind darauf gebaut, nie mit leeren Händen zurückzukommen, sodass eine Frage ohne echte Antwort dennoch in eine solche hineingezwungen wird, und sobald sie als Score ausgedrückt ist, kann nichts weiter unten in der Kette erkennen, dass sie überhaupt jemals unbeantwortbar war. Ein System zu bauen, das schlicht sagen kann, diese liegt außerhalb dessen, was sich verifizieren lässt, ist eine schwierigere Produktentscheidung, als es klingt, vor allem weil diese Antwort jene ist, die das Produkt genau dann verstummen lässt, wenn eine Demo möchte, dass es spricht.

Warum die Regulierung dies nicht schließt und nie dazu bestimmt war

Nichts davon ist eine Kritik an der Compliance-Ebene. Offenlegungspflichten existieren, weil sie das sind, was eine Regulierungsbehörde auf der Ebene eines Marktes tatsächlich überprüfen kann, kostengünstig und wiederholt, ohne die Substanz jeder Ausgabe zu lesen, die die KI eines Unternehmens jemals hervorbringt. Das ist eine vernünftige Designentscheidung für eine Regulierung, die für jedes Unternehmen gelten muss, das KI einsetzt, nicht nur für jene, die juristische Werkzeuge bauen. Doch es bedeutet, dass vollständige Compliance und vollständige Korrektheit auf wirklich unabhängigen Achsen liegen. Ein Unternehmen kann jede Offenlegung in Ordnung haben, jeden Mitarbeiter geschult, jede synthetische Ausgabe genau so gekennzeichnet, wie das Gesetz es verlangt, und dennoch einen juristischen Assistenten ausliefern, der eine Zitierung erfindet oder ein Holding falsch wiedergibt, denn kein Artikel der KI-Verordnung stellt diese spezifische Frage, und auch kein Confidence Score eines Allzweck-Bewerters ist darauf gebaut, sie zu beantworten, jedenfalls nicht für die umstrittene Mehrheit juristischer Arbeit.

Die Lücke benennen

Stellt man die drei Ebenen nebeneinander, wird die Gestalt der Anstrengung der Branche offensichtlich. Enorme Energie fließt in die Offenlegung, weil die Regulierung sie bis zu einem Stichtag verlangt. Echte, schnell voranschreitende Energie fließt in das Confidence Scoring, weil es universell einsetzbar und trainingsfrei ist und sich auf jede Domäne übertragen lässt, aus der ein Bewertungsmodell je Text gesehen hat. Sehr wenig fließt in die Quellenverifikation, weil sie das Gegenteil von universell einsetzbar ist. Sie benötigt einen echten Korpus für die spezifische Domäne, adversariale Abdeckung, die für die spezifischen Weisen dieser Domäne, auf subtile Weise falsch zu sein, gebaut und gepflegt wird, sowie eine Architektur, die das Schweigen als billiger behandelt als selbstsichere Fehlerhaftigkeit. Sie überträgt sich nicht. Sie muss einmal, ehrlich, für die eine Domäne gebaut werden, für die man den Korpus tatsächlich besitzt.

Das ist die Ebene, an der wir den größeren Teil des vergangenen Jahres speziell für das Recht gebaut haben, und sie ist mit deutlichem Abstand die am wenigsten spektakuläre der drei. Sie erzeugt keine saubere einzelne Zahl, wie es ein Confidence Score tut, und sie kommt nicht mit einem Zertifikat, wie es die Offenlegungs-Compliance tut. Was sie erzeugt, wenn sie ehrlich gebaut ist, ist etwas Engeres und schwerer zu Fälschendes: eine Behauptung, die entweder mit einer realen Quelle übereinstimmt oder als überhaupt nicht überprüfbar gekennzeichnet wird, ohne dass irgendetwas dazwischen geglättet wird.