Der Stellvertreter besteht immer seinen eigenen Test

Im Jahr 2009 führte das US-amerikanische National Institute of Standards and Technology (NIST) den TREC Legal Track durch, eine Evaluierung von Verfahren zum Auffinden einschlägiger ("responsive") Dokumente in Gerichtsverfahren. Die interaktive Aufgabe sah einen Einspruch vor. Sobald die teilnehmenden Teams ihre Durchläufe eingereicht hatten, wurde eine Stichprobe von Dokumenten durch Erstprüfer kodiert, um die Referenzlösung zu bilden, und jedes Team, das ein Dokument für falsch kodiert hielt, konnte dagegen Einspruch bei der Topic Authority (der massgeblichen Instanz) einlegen: einem erfahrenen Anwalt in der Rolle desjenigen, der in einer realen Dokumentenherausgabe die letzte Verantwortung dafür trägt, was relevant ist und was nicht. Diese Entscheidung war endgültig. Einen zweiten Einspruch gab es nicht.

Die Teams legten gegen rund 5 Prozent der bewerteten Dokumente Einspruch ein, und zwar dort, wo sie einen Erfolg erwarteten, denn jede aufgehobene Einstufung hob ihre eigene Bewertung. Von diesen Einsprüchen waren 89 Prozent erfolgreich. Bei den Dokumenten, die überhaupt jemand anfocht, widersprach der erfahrene Anwalt dem Erstprüfer in nahezu neun von zehn Fällen.

Keine Grauzone. Überwiegend schlichter Irrtum.

Maura Grossman und Gordon Cormack, zwei der Forscher, die dieses Feld aufgebaut haben, gingen der Frage nach dem Warum nach. Ihr Befund, 2012 in der Pace Law Review veröffentlicht, lautete nicht, dass Einschlägigkeit von Natur aus Ansichtssache sei. Beim erneuten Lesen der aufgehobenen Dokumente selbst beurteilten sie rund neun von zehn davon als eindeutig einschlägig oder eindeutig nicht einschlägig, und nur etwa 5 Prozent als wirklich strittig. Die Abweichungen waren keine Grenzfälle am Rand eines schwierigen Begriffs. Sie waren überwiegend schlichter menschlicher Irrtum.

Die Instanz selbst verschonten sie ebenso wenig. Bei 4 bis 8 Prozent der erneut gelesenen Dokumente war es die Topic Authority und nicht der Erstprüfer, deren Einstufung sie als offenkundig falsch beurteilten. Grossman hatte bei einem der Themen selbst als Topic Authority fungiert; bei der erneuten Durchsicht von zehn ihrer eigenen Dokumente revidierte sie drei und bezeichnete zwei weitere als strittig. Und die Arbeit stellt ausdrücklich fest, dass sich aus ihren Zahlen nicht ableiten lässt, wie oft der Prüfer oder die Instanz über die Sammlung als Ganzes hinweg falsch liegt, weil die Stichprobe bewusst aus angefochtenen Dokumenten gebildet wurde. Es ist eine Untersuchung darüber, woher Uneinigkeit kommt, keine Messung dessen, wie oft jemand recht hat.

Wo die günstige Messung zum Trainingssignal wird

Für die Evaluierung selbst war nichts davon ein Problem. Die Teams bekamen die Kodierung der Erstprüfung nie zu sehen; was sie hatten, waren bis zu zehn Stunden mit der Topic Authority. Das Problem beginnt einen Schritt später, in der alltäglichen Praxis, wenn die günstige Messung aufhört, ein Massstab zu sein, und zu dem wird, woran ein System angepasst wird. Wo ein Klassifikator aus der Kodierung der Erstprüfung lernt, weil das die einzigen gelabelten Daten sind, die sich in grossem Umfang bezahlbar erzeugen lassen, erbt er alles, was an dieser Kodierung falsch war. Ein System, das darauf trainiert ist, dem Prüfer zuzustimmen, lernt, dem Prüfer zuzustimmen. Es lernt nicht, richtig zu liegen, und sein Genauigkeitswert, berechnet gegen dieselbe Kodierung, auf der es trainiert wurde, kann beides nicht auseinanderhalten.

Dasselbe Muster, in unserem eigenen Audit-Trail

Wir haben dieses Muster in unserer eigenen Arbeit gefunden, und es brauchte kein externes Audit, um es zu bemerken. Es brauchte zwei Personen aus einem anderen Teil des Teams, die eine unbequeme Frage laut aussprachen. Die eine fragte, wer eigentlich die Belege erzeugt hat, gegen die eine Prüfung lief. Die andere fragte, was die schwächstmögliche Eingabe wäre, bei der unsere Bestätigung immer noch auf wahr stehen bliebe. Wir haben beide Fragen am realen System getestet, statt darüber zu streiten, und die Antwort war schlimmer, als beide Fragen nahelegten. Ein Nachweis, der belegen sollte, dass eine juristische Aussage korrekt verifiziert worden war, kam auch dann bestätigt zurück, wenn der zugrunde liegende Text, gegen den geprüft wurde, von genau demjenigen erfunden worden war, der den Nachweis erzeugt hatte. Er war in sich stimmig. Jeder Teil stimmte mit jedem anderen überein. Er war nur nie aufgefordert worden, mit irgendetwas ausserhalb seiner selbst übereinzustimmen.

Innere Stimmigkeit und Echtheit sind nicht dieselbe Eigenschaft, und ein einzelnes beruhigendes Kennzeichen wird das Erste immer für das Zweite eintreten lassen, weil derjenige, der es liest, nicht erkennen kann, welches von beidem er in der Hand hält. Also haben wir das Kennzeichen auseinandergenommen. Was zuvor als ein Wort durchging, muss nun ausdrücklich benennen, was geprüft wurde und was nicht, und ein Nachweis, der an nichts ausserhalb seiner eigenen Aussagen verankert ist, sagt das auch, statt stillschweigend auf in Ordnung zu stehen.

Die Eingabe, die gebaut wurde, um es zu täuschen

Die Lehre unter beiden Geschichten ist dieselbe, vierzehn Jahre auseinander, in Systemen, die sonst nichts gemeinsam haben. Wo es keinen günstigen Weg gibt zu prüfen, ob etwas wahr ist, liegt die Versuchung nahe zu prüfen, ob es mit sich selbst übereinstimmt oder mit demjenigen, der ohnehin geneigt ist zuzustimmen. Das ist keine Abkürzung zur eigentlichen Antwort. Es ist eine andere Frage im Gewand der eigentlichen Antwort. Und der einzige Weg, das zu bemerken, ist, gezielt nach der Eingabe zu suchen, die eigens gebaut wurde, um zu bestehen, bevor jemand anderes es tut.

Quellen: Grossman, M. R., & Cormack, G. V. (2012). Inconsistent Responsiveness Determination in Document Review: Difference of Opinion or Human Error? 32 Pace Law Review 267. Hedin, B., Tomlinson, S., Baron, J. R., & Oard, D. W., Overview of the TREC 2009 Legal Track.Quellen: Pace Law Review 32:2 · TREC 2009 Legal Track overview