Eine juristische KI ohne externe Prüfung ist ein Versprechen ohne Verifizierung

Die Diskussion in der Legal Tech hat sich auf Genauigkeits-Benchmarks, Halluzinationsraten und Modellvergleiche konzentriert. Die Frage, die weniger Aufmerksamkeit erhalten hat, ist struktureller Natur: Wer zertifiziert, dass das System, das die juristische Analyse erzeugt, tatsächlich tut, was es zu tun behauptet?

Das ist keine Technologiefrage. Es ist eine Governance-Frage. Und es ist eine, die der Rechtssektor von Anfang an hätte stellen müssen.

Das Prüfproblem bei juristischen KI-Werkzeugen

Die meisten in juristischen Kontexten eingesetzten KI-Werkzeuge arbeiten als Einzelknoten-Systeme: Ein Dokument geht hinein, eine Analyse kommt heraus. Die Argumentationskette zwischen Eingabe und Ausgabe ist konstruktionsbedingt undurchsichtig. Nutzer können nicht überprüfen, ob das System den korrekten normativen Rahmen angewandt hat, ob es die einschlägige Rechtsprechung abgerufen hat, ob ein Zitat existiert oder halluziniert wurde, oder ob die erreichte Schlussfolgerung mit den Quellen kohärent ist, die es konsultiert zu haben behauptet.

Anbieter veröffentlichen Genauigkeits-Benchmarks. Benchmarks sind nützlich, aber sie messen die Leistung an kuratierten Evaluierungssätzen, nicht an den Dokumenten, die Ihr Mandant an einem Dienstagnachmittag mitbringt.

Warum die Architektur die Prüfbarkeit bestimmt

Als wir Nexus Legal entworfen haben, haben wir es um eine Mehrknoten-Architektur herum strukturiert, gerade weil Einzelknoten-Systeme nicht die Beweisspur erzeugen können, die ein externer Prüfer für seine Arbeit benötigt.

Das System nutzt unterschiedliche funktionale Knoten. Node A erzeugt die Primäranalyse. Node B prüft diese Analyse unabhängig, generiert adversariale Einwände und zertifiziert Behauptungen, die der Überprüfung standhalten. Der Dissensbericht zwischen A und B wird aufbewahrt und ist anfechtbar: Er erfasst nicht nur, was das System geschlussfolgert hat, sondern auch, was es erwogen und verworfen hat.

Das ist keine technische Kuriosität. Es ist die grundlegende Voraussetzung für eine externe Zertifizierung. Man kann ein System nicht prüfen, das keine nachvollziehbare, anfechtbare Ausgabekette erzeugt.

Was eine Governance-Ebene durch Dritte zertifiziert

Die externe Zertifizierung eines juristischen KI-Systems ist nicht die Zertifizierung des zugrunde liegenden Modells. Sie ist die Zertifizierung von:

Der Methodik: Wendet das System einen dokumentierten, konsistenten analytischen Rahmen über die Jurisdiktionen hinweg an? Ist dieser Rahmen öffentlich definiert und unabhängig überprüfbar?

Dem Prozess der Behauptungsverifizierung: Wenn das System behauptet, dass eine Norm derzeit in Kraft ist, dass ein Präzedenzfall existiert oder dass eine gesetzliche Auslegung gültig ist, gibt es dann eine maschinenlesbare Spur von der Behauptung zurück zur Quelle?

Dem Override-Protokoll: Wenn eine menschliche Prüfung eine Systemausgabe überschreibt, wird dieses Override protokolliert, kategorisiert und für die Musteranalyse verfügbar gemacht? Override-Raten nach Ausgabetyp zeigen, wo das System systematisch unzuverlässig ist.

Der jurisdiktionsübergreifenden Konsistenz: Bei einer Plattform, die in 63 Jurisdiktionen tätig ist, muss ein Prüfer verifizieren, dass der im spanischen Verwaltungsrechtskontext angewandte normative Rahmen nicht derselbe Rahmen ist, der auf einen kolumbianischen Verfassungsrechtsstreit angewandt wird.Quellen: 63 Jurisdiktionen

Der Integrationsweg

Die Integration einer Drittprüfung erfordert drei Dinge, die in das System hineinkonstruiert werden müssen, nicht nachgerüstet.

Erstens prüfzugängliche Ausgabeprotokolle. Jede Analyse muss mit ausreichenden Metadaten protokolliert werden, damit ein Prüfer die Argumentationskette rekonstruieren kann: welche Quellen abgerufen wurden, welche normativen Module angewandt wurden, wie der Dissensbericht von Node B aussah und welche Version des zugrunde liegenden Korpus zum Zeitpunkt der Abfrage aktiv war.

Zweitens manipulationssichere Verankerung. Für Ausgaben, die in förmlichen Verfahren verwendet oder bei Regulierungsbehörden eingereicht werden, muss die Prüfspur in einem Datensatz versiegelt werden, der nicht ohne Erkennung verändert werden kann. Die kryptografische Verankerung (ein Content-Hash, eine digitale Signatur und ein RFC-3161-Zeitstempel) erlaubt es jeder Partei zu verifizieren, dass die Ausgabe, die sie liest, seit ihrer Erzeugung nicht verändert wurde und dass die ihr zugeordneten Metadaten dem Systemzustand zu jenem Zeitpunkt entsprechen.

Drittens strukturierte Zertifizierungs-Endpunkte. Die Governance-Ebene muss die methodische Dokumentation des Systems abfragen, anonymisierte Ausgabeproben für Stichproben abrufen und automatisierte Warnungen erhalten können, wenn sich Systemparameter auf eine Weise ändern, die zuvor zertifizierte Ausgaben betrifft.

Der regulatorische Druck, der dies dringend macht

Die EU-KI-Verordnung stuft in Gerichtsverfahren eingesetzte juristische KI-Systeme als Hochrisiko-Systeme nach Anhang III ein. Hochrisiko-Systeme bringen Konformitätsbewertungspflichten, Anforderungen an die technische Dokumentation und Vorgaben zur menschlichen Aufsicht mit sich, die sich nicht durch die interne Selbstzertifizierung eines Anbieters erfüllen lassen.Quellen: EU AI Act · Annex III

Für Plattformen, die in der gesamten Europäischen Union tätig sind, ist dies kein künftiges Compliance-Anliegen. Die Pflichten sind in Kraft. Die Frage ist, ob Ihre Systemarchitektur die von einer externen Konformitätsbewertungsstelle geforderten Nachweise erzeugen kann.

Die meisten aktuellen juristischen KI-Implementierungen können das nicht. Die Architektur erzeugt die erforderliche Beweisspur nicht, und sie nach der Implementierung nachzurüsten ist deutlich teurer, als sie von Anfang an zu bauen.

Was das in der Praxis bedeutet

Der Rechtssektor lernt gerade, dass KI-Werkzeuge nicht nur schnellere Rechercheassistenten sind. Es sind Systeme, die Behauptungen mit rechtlichen Konsequenzen erzeugen, eingesetzt in Kontexten, in denen die Kosten einer falschen Antwort einen Mandanten treffen.

Das Governance-Modell, das diesem Konsequenzniveau gerecht wird, ist nicht die interne Qualitätssicherung und die periodische Anbieterprüfung. Es ist eine Struktur, in der ein unabhängiger Dritter jederzeit die Methodik, die Ausgabekette und den Kreuzvalidierungsbericht einsehen und zertifizieren kann, dass das, was das System zu tun behauptet, auch das ist, was es tatsächlich tut.

Bei Nexus Legal haben wir für diese Anforderung entworfen, bevor sie verpflichtend war. Die Prüfebene, die wir aufbauen, ist kein Compliance-Zusatz. Sie ist das, wonach ein für den professionellen juristischen Einsatz konzipiertes System vom ersten Tag an hätte aussehen sollen.