Zwölf Fragen an einen Anbieter von Legal AI, und die Antworten, die Sie beunruhigen sollten

Die meisten Orientierungshilfen zur Auswahl von Legal AI stammen von denen, die sie verkaufen, und deshalb listen sie Funktionen auf statt Fragen. Funktionen sind leicht zu beantworten und schwer zu überprüfen. Eine Frage mit einer falschen Antwort ist weder das eine noch das andere.

Es folgt die Liste, die wir selbst verwenden würden, und sie ist auch für uns keine bequeme Liste. Mehrere dieser Fragen hätten wir vor einem Jahr nicht gut beantworten können, und eine davon beschreibt einen Mangel, den wir in unserem eigenen System gefunden und auseinandernehmen mussten. Sie sind danach geordnet, wie viel Schaden eine schlechte Antwort anrichtet.

Fragen Sie, was die Ausgabe sagt, wenn nichts geprüft wurde

Die erste Frage stellt fast niemand: Wenn Ihr System etwas nicht verifizieren kann, was genau sagt dann das Ergebnis? Ein Prüfschritt, der bestanden oder durchgefallen meldet, hat ein einziges Bit zur Verfügung und mindestens vier Zustände dahinter: geprüft und sauber, geprüft und fehlerhaft, nichts zu prüfen, und Prüfung nicht möglich. Fallen die letzten beiden mit dem ersten zusammen, sind ein sauberes und ein stummes Ergebnis für die lesende Person nicht mehr zu unterscheiden, und keine Sorgfalt weiter unten in der Kette stellt diesen Unterschied wieder her. Eine gute Antwort benennt einen expliziten dritten Zustand. Eine schlechte Antwort ist eine Vorführung, in der alles besteht.

Fragen Sie dann, ob ein ungewöhnlich sauberes Ergebnis überhaupt etwas auslöst. Ein Dokument mit weniger Prüfpunkten, als diese Dokumentklasse normalerweise enthält, ist für sich genommen ein Signal. Behandelt das System das als beruhigend statt als Anlass zur Rückfrage, bleiben genau die leisesten Fehler diejenigen, die es nie sichtbar macht.

Und fragen Sie, worüber die Prüfung tatsächlich gelaufen ist. Ein Ergebnis ist nur zusammen mit einer ehrlichen Angabe der Arbeitsmenge interpretierbar: wie viele Elemente im Prüfumfang lagen und welche das waren. Ein Anbieter, der das Ergebnis meldet, aber nicht die Grundgesamtheit, meldet eine halbe Messung und stellt sie als ganze dar.

Fragen Sie, woher die Referenzwahrheit stammt

Fragen Sie, wer die Belege erzeugt hat, gegen die die Verifikation läuft. Wenn dieselbe Partei, die die Aussage erzeugt hat, auch das Material erzeugt hat, gegen das geprüft wird, haben Sie eine Konsistenzprüfung im Gewand einer Echtheitsprüfung. Sie wird in sich schlüssig sein, jeder Teil stimmt mit jedem anderen überein, und sie ist nie daraufhin geprüft worden, ob sie mit irgendetwas außerhalb ihrer selbst übereinstimmt. Das ist der Mangel, den wir in unserem eigenen Audit-Trail gefunden haben, und es brauchte zwei Kolleginnen und Kollegen, die die unbequeme Fassung der Frage laut aussprachen und sie dann am realen System prüften, statt darüber zu streiten.

Fragen Sie, was mit einer aufgehobenen Vorschrift geschieht. In einem kodifizierten System ist der typische Fehler keine erfundene Fundstelle. Es ist ein realer Artikel, korrekt zitiert, der nicht mehr in Kraft ist und weiterhin als geltendes Recht angeführt wird. Behandelt der Anbieter die Aufhebung als fehlenden Datensatz oder als Fehler statt als eigenständigen Befund, prüft das System, ob ein Text existiert, nicht, ob er gilt.Quellen: warum ein aufgehobenes Gesetz keine veraltete Tatsache ist

Fragen Sie, was der Zeitstempel einer Quelle tatsächlich bedeutet. In den meisten Retrieval-Systemen hält er fest, wann jemand den Datensatz zuletzt angefasst hat, nicht, ob sein Inhalt noch zutrifft. Das sind verschiedene Fragen mit verschiedenen Antworten, und in der Lücke dazwischen entsteht die selbstsicher falsche Ausgabe.

Fragen Sie nach den Jurisdiktionen, in denen Sie tatsächlich arbeiten

Fragen Sie nach dem Unterschied zwischen einer Jurisdiktion, die indexiert ist, einer, deren Korpus lediglich gesammelt wurde, und einer, über die das Modell nur aus Allgemeinwissen schließen kann. Alle drei können in einer Vorführung identisch aussehen. Nur die erste liefert Ihnen Retrieval gegen echte Quellen. Ein Anbieter, der diese Grenze nicht für Sie zieht, hat eine Abdeckungszahl, die mehr leisten soll, als sie tragen kann.

Fragen Sie, was das System mit einer Jurisdiktion macht, die es nicht modelliert hat. Es gibt zwei mögliche Antworten und nur eine davon ist sicher. Es kann ablehnen, oder es kann etwas erzeugen, indem es die Regeln einer benachbarten Jurisdiktion anwendet. Überall dort, wo eine Frist hängt, ist das Zweite das schlechtere Ergebnis: Ein plausibles Datum wird umgesetzt, die Einreichung ist verspätet, und es bleibt nichts mehr zu reparieren. Lassen Sie sich die Verweigerung zeigen.

Fragen Sie, ob die Verifikationslogik für die Sprache gebaut wurde, in der sie laufen wird, oder ob sie in diese Sprache übersetzt wurde. Die Arten, auf die eine juristische Aussage subtil falsch wird, eine umgedrehte Negation, ein abgeschwächter Quantor, eine weggefallene Ausnahme, sind sprachspezifische Muster. Ein System, das in einer Sprache adversarial getestet wurde, fängt den entsprechenden Fehler in einer anderen nicht zwangsläufig ab, und der Fehlermodus ist Stille, keine Fehlermeldung.Quellen: Verifikation reist nicht mit der Übersetzung

Fragen Sie, was passiert, wenn es falsch ist

Fragen Sie, aus wessen professioneller Perspektive die Analyse geschrieben ist. Derselbe Vertrag und dasselbe Gesetz führen zu unterschiedlichen Befunden, je nachdem, ob die Frage lautet, ob eine notarielle Urkunde errichtet werden darf, ob eine Eintragung eintragungsfähig ist, oder wann einzureichen ist. Ein Mangel, der für einen Prozessanwalt belanglos ist, kann für einen Registerführer der entscheidende Befund sein. Nennt die Ausgabe die Rolle nicht, aus der heraus sie geschrieben wurde, hat sie stillschweigend eine für Sie gewählt.

Fragen Sie, was ein einzelner Mangel über einen ganzen Mandantenbestand hinweg kostet. Eine übermüdete Fachkraft produziert Fehler, die streuen; ein Modell mit einem Mangel produziert denselben Fehler jedes Mal, wenn das Muster wiederkehrt, in jeder Akte, gleichzeitig. Das ist keine Aussage darüber, was im Durchschnitt genauer ist. Es geht darum, dass sich unkorrelierter Fehler über viele Entscheidungen hinweg ausmittelt, während korrelierter Fehler sich aufaddiert, und keine aggregierte Beruhigung hilft der Akte, in der er gelandet ist.Quellen: die Asymmetrie des Vertrauens

Fragen Sie schließlich, wie die Aufzeichnung für jemanden aussieht, der nicht dabei war. Nicht, ob es ein Log gibt, alles loggt. Fragen Sie, ob die Aufzeichnung zeigt, was geprüft wurde, was nicht, worüber die Prüfung lief und wer einzustehen hat, und zwar in einer Form, die eine Aufsichtsbehörde oder eine Gegenpartei bewerten kann, ohne dem Anbieter irgendetwas davon glauben zu müssen. Das ist der Unterschied zwischen einem System, das prüfbar ist, und einem System, das einen Audit-Trail hat.

Wie Sie die Antworten lesen

Keine dieser Fragen hat genau eine richtige Antwort, und ein Anbieter, der alle zwölf ohne Zögern beantwortet, ist entweder außergewöhnlich oder kennt sie bereits und hat sich vorbereitet. Entscheidend ist die Form der Antwort. Konkret schlägt flüssig. Eine benannte Grenze schlägt eine Beruhigung. Das Angebot, Ihnen den Fehlerfall zu zeigen, schlägt eine Vorführung, in der alles funktioniert.

Diese Fragen gehören vor die Unterschrift und nicht danach, weil die meisten dieser Mängel von außen genau dann unsichtbar sind, wenn sie Schaden anrichten. Ein System, das nur die Probleme meldet, die es gefunden hat, hat konstruktionsbedingt nichts zu den Problemen zu sagen, nach denen es nie gesucht hat.