Verifiziert ist nicht dasselbe wie verteidigbar

Ein kürzlich von uns veröffentlichter Beitrag argumentierte, dass "Verifizierung" in der juristischen KI drei verschiedene Aufgaben zugleich erfüllt: Offenlegung (haben Sie die Ausgabe gekennzeichnet), Konfidenzbewertung (hält die Gewissheit eines Richtermodells stand) und Quellenverifizierung (entspricht die konkrete Aussage einem konkreten realen Dokument). Die These lautete, dass nahezu die gesamte Energie der Branche in die ersten beiden fließt und fast keine in die dritte, weil die dritte als einzige einen echten Fachkorpus benötigt statt eines Allzweck-Richters.Quellen: Everyone Is Verifying Legal AI (three layers)

Der Kommentarbereich tat etwas, das einem einzelnen Beitrag selten gelingt: Er argumentierte weiter, nachdem das Argument bereits geendet hatte, und er konvergierte auf eine vierte Ebene, die der Beitrag nie benannt hatte. Adel Kildeev eröffnete sie: Die Verifizierung beendet nicht die Verantwortung, sie ist ein einzelner Beweisschritt, bevor eine qualifizierte Fachperson unabhängig die Primärquellen liest und die Verantwortung für die Entscheidung übernimmt. Marco Rossi benannte es in vier Buchstaben, LITL, lawyer in the loop. Itamar Rosen verschärfte die Frage weiter: Sollte ein Pilot den Passagieren jede Aktivierung des Autopiloten ankündigen, oder braucht der Passagier eigentlich etwas anderes, nämlich einen geschulten, rechenschaftspflichtigen Piloten und eine Blackbox, die rekonstruiert, was geschehen ist, falls etwas schiefgeht.

Dann verdichtete Arkadiy Miteiko, der direkt unter dem Beitrag antwortete, die ganze Idee in einer Zeile: "rechnerische Korrektheit ist nicht institutionelle Gültigkeit." Der Kern darunter ist, dass eine korrekt belegte Aussage dennoch scheitern kann, je nachdem, wer sich darauf stützt, unter welcher Befugnis, für welche Angelegenheit, in welchem Moment, und dass das Vertrauen in juristische KI weniger daraus entsteht, dass Zitate existieren, als vielmehr aus der Fähigkeit, jede folgenreiche Nutzung im Nachhinein zu rekonstruieren und zu rechtfertigen.

Das ist keine Neuformulierung der Quellenverifizierung mit anderen Worten. Es ist eine vierte, eigenständige Achse, und sie hat einen Namen und ein Werk hinter sich: Ignacio Adrian Lerer, Unternehmensjurist und unabhängiges Aufsichtsratsmitglied, der genau über diese Grenze zwischen der Ausgabe eines Systems und der Fähigkeit einer Institution schreibt, dafür einzustehen.

Die Grenze, die Lerer immer wieder zieht

In einem aktuellen Beitrag über Argentiniens anstehende Reform rund um autonome unternehmerische Entscheidungssysteme, Teil der Debatte um die Einführung einer autonomen Gesellschaftsform in die Ley General de Sociedades, formuliert Lerer die ganze Frage neu. Ihn interessiert weniger, ob ein System Rechtspersönlichkeit besitzen kann, als ein engeres, härteres Problem: Wenn ein autonomes System etwas tut, dem niemand ausdrücklich zugestimmt hat, wessen Entscheidung war es. Seine Antwort trennt zwei Rollen, die als eine behandelt werden und es nicht sollten. Wer das System eingerichtet, seine Parameter gewählt und definiert hat, wozu es befugt war, verantwortet einen anderen Akt als derjenige, oder dasjenige, das innerhalb dieser Einrichtung autonom gehandelt hat. Behandelt man sie als denselben Akteur, lässt man entweder die Einrichtungsentscheidung sich hinter der autonomen verstecken, oder man macht jemanden für Verhalten verantwortlich, gegen das im Voraus niemand hätte konfigurieren können. Er verankert den Vorschlag bewusst in Artikel 19 der Verfassung Argentiniens: regulieren, was geschieht, wenn das System Schaden verursacht, nicht die internen Schritte, mit denen es etwas entschieden hat. Kontrolle der Ergebnisse, nicht Kontrolle des Prozesses.Quellen: Ignacio Adrián Lerer, on the SCBA AI framework (Abogados.com.ar) · Argentina's "sociedad automatizada" reform (Infobae)

Diese Unterscheidung, Konfigurator versus Ausführer, ist der klarste verfügbare Rahmen dafür, was "verteidigbar" tatsächlich bedeutet. Eine verifizierte Aussage sagt Ihnen, dass der Ausführer etwas produziert hat, das einer realen Quelle entspricht. Sie sagt Ihnen nichts darüber, ob dieser konkrete Akt des Sich-Verlassens innerhalb der Grenze geschah, die der Konfigurator tatsächlich befugt hat, in jenem Moment, für jene Angelegenheit, unter jenem Mandat. Das sind verschiedene Fragen, und nur eine von ihnen wird durch die Prüfung des Zitats beantwortet.

Wo es konkret wird: der Sachverständige, der die Begründung nicht erklären kann

Lerers anderer einschlägiger Beitrag, über einen Rahmen für juristische KI, den die Suprema Corte de la Provincia de Buenos Aires (Oberster Gerichtshof der Provinz Buenos Aires) gerade verabschiedet hat, macht dieselbe Unterscheidung konkret statt theoretisch. Die Regelung verlangt "signifikante" menschliche Aufsicht über KI-gestützte richterliche Arbeit, ohne je zu definieren, was das in der Praxis bedeutet, eine offene Schwelle inmitten einer verbindlichen Vorschrift. Das Beispiel, das er anführt, durchschneidet die Mehrdeutigkeit von allein: Ein gerichtlich bestellter Sachverständiger, der einen KI-verfassten Bericht abzeichnet, ohne dessen Begründung wirklich nachzuvollziehen, hat ein echtes Problem in dem Moment, in dem die Gegenpartei im Zeugenstand Fragen zu stellen beginnt, ein Problem, das nichts damit zu tun hat, ob die Zitate in jenem Bericht stimmen. Was im Kreuzverhör tatsächlich geprüft wird, ist die kontradiktorische Garantie, die eigene Fähigkeit des Sachverständigen, seine Schlussfolgerungen gegen eine feindselige Frage zu verteidigen, nicht die Richtigkeit dessen, was der Bericht zitiert hat. Dieselbe Regelung macht im selben Atemzug die Prüfung eines KI-generierten Zitats für das Justizpersonal verpflichtend. Beide Anforderungen stehen in einer einzigen Vorschrift nebeneinander. Nur eine von ihnen lässt sich durch das Ausführen einer Prüfung erfüllen.Quellen: SCBA AI framework, Resolución SC 1.719/26 (Diario Judicial) · SCBA official note

Das ist das Muster, das es präzise zu benennen gilt: Eine korrekt belegte Aussage, übergeben an jemanden, der nicht rekonstruieren kann, warum er sich darauf gestützt hat, ist dennoch eine Haftung. Eine schwächere, unverifizierte Aussage, die die Person vollständig versteht, erklären kann und für die sie die Verantwortung übernimmt, übersteht die Prüfung womöglich, die die belegte nicht übersteht, weil die Prüfung in einem kontradiktorischen Verfahren die Befugnis und das Verständnis des Menschen testet, nicht die Existenz des Zitats.

Was Verteidigbarkeit tatsächlich erfordert, mechanisch

Wenn die Quellenverifizierung einen echten Korpus benötigt, eine Möglichkeit, eine konkrete Aussage an ein konkretes Dokument zu binden, dann benötigt die Verteidigbarkeit eine andere, schwierigere Reihe von Dingen.

Befugnis, an einen Moment gebunden, nicht bloß an eine Rolle. Die Legitimation, sich auf eine KI-gestützte Ausgabe zu stützen, ist zeitspezifisch und mandatsspezifisch, keine dauerhafte Eigenschaft einer Amtsbezeichnung. Zu verifizieren, dass ein Zitat real ist, sagt nichts darüber, ob die Person, die es anführt, gegenwärtig die Befugnis besitzt, die ihr Sich-Verlassen impliziert, für diese Angelegenheit, in diesem Stadium davon. Lerers Trennung von Konfigurator und Ausführer macht den Fehlermodus präzise: Die Frage ist nie bloß "hat das System korrekt gehandelt", sie lautet "lag dieser konkrete Akt des Sich-Verlassens innerhalb des Umfangs, den die Konfiguration tatsächlich befugt hat". Eine Unterschrift, die gültig ist, bevor ein Mandat erlischt, ist danach nicht automatisch gültig. Ein Werkzeug, das für eine Kategorie von Angelegenheiten befugt ist, trägt die Befugnis nicht in eine angrenzende hinein, bloß weil niemand nachgeprüft hat.

Begründung bewahrt, nicht bloß Schlussfolgerungen genehmigt. Ein System, das einer Fachperson eine endgültige Antwort mit angehängten Zitaten übergibt, lässt diese Person eine Schlussfolgerung genehmigen, ohne die Begründung aufzunehmen, die sie hervorgebracht hat. Das Kreuzverhör testet keine Schlussfolgerungen. Es testet die Begründung, unter Druck, in Echtzeit, von jemandem, dessen Aufgabe es ist, die Naht zu finden. Ein auf Verteidigbarkeit ausgelegter Arbeitsablauf muss den Menschen zwingen, die Begründungskette selbst als einen eigenen Schritt zu durchlaufen und zu bestätigen, getrennt vom Akzeptieren der endgültigen, zitatgeprüften Ausgabe, denn das sind nicht dieselben Akte der Prüfung, und nur einer von ihnen bringt jemanden hervor, der es übersteht, dazu befragt zu werden.

Der Nachweis muss den rechenschaftspflichtigen Akteur benennen, nicht bloß protokollieren, dass eine Prüfung stattfand. Ein Flugschreiber, der zeigt, dass der Autopilot zu einem bestimmten Moment aktiviert war, aber nicht, welcher Pilot in jenem Moment das Kommando hatte und rechenschaftspflichtig war, dem fehlt der Teil, der zählt, wenn etwas schiefgeht. Das entsprechende Versagen in der juristischen KI ist ein System, das "verification passed" protokolliert, ohne dieses Bestehen an eine konkrete Person zu binden, die es geprüft hat, unter einer konkreten Befugnis, an einem konkreten Datum, und die später zu dieser Entscheidung befragt werden kann. Die Verifizierung erzeugt eine Tatsache über eine Aussage. Die Verteidigbarkeit erfordert eine Tatsache über die Beziehung einer Person zu dieser Aussage, zu jener Zeit.

Undefinierte Aufsichtsstandards sind eine akute Lücke, keine hypothetische. Lerers Punkt zur "signifikante" menschlichen Aufsicht ist keine abstrakte Kritik an der Regelungsformulierung. Er ist die Beschreibung einer Vorschrift, die gerade jetzt existiert, verbindlich, mit einem Standard, den niemand operationalisiert hat. Eine Alibi-Prüfung, fünf Sekunden Klicken auf Genehmigen, erfüllt technisch "ein Mensch hat dies beaufsichtigt" unter einer Vorschrift, die nie sagt, wie viel Aufsicht zählt, während sie nichts von der Verteidigbarkeit liefert, zu deren Erzeugung die Vorschrift existiert. Jedes System, das "human in the loop" als Kontrolle beansprucht, muss konkret sagen können, was eine Aufsicht, die standhalten würde, von einer unterscheidet, die es nicht täte, denn die Vorschrift sagt es meist nicht, und die Lücke fällt standardmäßig demjenigen zu, der die Frage stellt, nachdem bereits etwas schiefgegangen ist.

Warum dies nicht in die Verifizierung zusammenfällt

Es wäre ordentlich, wenn sich die Verteidigbarkeit als Quellenverifizierung unter anderem Namen herausstellte, eine weitere Unterprüfung, die derselben Pipeline hinzuzufügen wäre. Das tut sie nicht, und sie so zu behandeln, verfehlt den eigentlichen Punkt. Die Quellenverifizierung beantwortet eine Frage, die ein Regulierer, ein Gegner oder ein Prüfer über den Inhalt stellt: Entspricht diese Aussage der Realität. Die Verteidigbarkeit beantwortet eine Frage, die ein Gericht, ein Tribunal oder ein Aufsichtsrat über die Person stellt: Hatten Sie die Legitimation und das Verständnis, sich hier und jetzt darauf zu stützen, und können Sie Ihre Arbeit belegen. Ein System kann eine perfekt verifizierte Aussage produzieren und die zweite Frage dennoch vollständig verfehlen, und ein System kann etwas Schwächeres produzieren, das sie vollständig übersteht, weil die zweite Frage von vornherein nie um die Aussage ging.

Das ist auch der Grund, warum die Lösung nicht wie eine Bewertungspipeline aussieht. Die Verifizierung lässt sich durchgängig automatisieren, weil sie eine Eigenschaft eines Dokuments ist, das gegen ein anderes Dokument abgeglichen wird. Die Verteidigbarkeit lässt sich nicht auf dieselbe Weise automatisieren, weil sie eine Eigenschaft der Beziehung eines konkreten Menschen zu einer konkreten Entscheidung ist, und das Höchste, was die Architektur leisten kann, ist, diese Beziehung rekonstruierbar zu machen statt vorauszusetzen. Was sie garantieren kann, ist, dass die Begründung tatsächlich durchlaufen wurde statt per Alibi abgezeichnet, dass der Nachweis benennt, wer was unter welcher Befugnis entschieden hat, und dass die Lücken darin, was als angemessene Aufsicht gilt, als offene Fragen behandelt werden, die es festzunageln gilt, statt sie mit einem Häkchen zu überkleben.

Nichts davon war als zweiter Beitrag geplant, als der erste erschien. Er entstand aus einem tatsächlichen Kommentarverlauf, in Echtzeit, von Menschen, die das Argument weiter trieben als der ursprüngliche Entwurf. Das ist eine seltsame Art, ein Argument zu bauen, öffentlich, mit den Menschen, die es nutzen werden, aber es brachte eine schärfere Unterscheidung hervor, als ein geschlossener Raum es getan hätte, und das Ehrliche ist, es zu sagen.