La mesure de substitution passe toujours son propre test

En 2009, le National Institute of Standards and Technology (NIST) des États-Unis a conduit le TREC Legal Track, une évaluation des méthodes de recherche de documents pertinents ("responsive") dans le contentieux. Sa tâche interactive prévoyait une voie de recours. Une fois les soumissions des équipes participantes déposées, un échantillon de documents était codé par des relecteurs de première passe afin de constituer le référentiel de réponses, et toute équipe estimant qu'un document avait été mal codé pouvait former un appel devant la Topic Authority (autorité de référence) : un avocat expérimenté tenant le rôle du juriste qui assume la responsabilité ultime de décider ce qui est pertinent et ce qui ne l'est pas dans une production de pièces réelle. Ce jugement était définitif. Il n'y avait pas de second appel.

Les équipes ont contesté environ 5 pour cent des documents évalués, et elles contestaient là où elles s'attendaient à l'emporter, car chaque décision infirmée relevait leur propre score. Parmi ces appels, 89 pour cent ont abouti. Sur les documents que quiconque a pris la peine de contester, l'avocat expérimenté s'est écarté du relecteur de première passe près de neuf fois sur dix.

Pas une zone grise. Le plus souvent, une erreur manifeste.

Maura Grossman et Gordon Cormack, deux des chercheurs qui ont fondé la discipline, sont revenus sur ces données pour en chercher la raison. Leur conclusion, publiée dans la Pace Law Review en 2012, n'était pas que la pertinence relève par nature de l'opinion. En relisant eux-mêmes les documents infirmés, ils en ont jugé environ neuf sur dix clairement pertinents ou clairement non pertinents, et 5 pour cent seulement véritablement discutables. Les désaccords n'étaient pas des cas limites aux confins d'une notion difficile. C'étaient, pour l'essentiel, de simples erreurs humaines.

Ils n'ont pas davantage épargné l'autorité. Dans 4 à 8 pour cent des documents relus, celui qu'ils jugeaient manifestement dans l'erreur était la Topic Authority, et non le relecteur. Grossman avait elle-même exercé la fonction de Topic Authority sur l'un des sujets ; en réexaminant dix de ses propres documents, elle en a inversé trois et en a jugé deux autres discutables. Et l'article indique sans détour que ses chiffres ne permettent pas d'estimer la fréquence des erreurs du relecteur ou de l'autorité sur l'ensemble de la collection, l'échantillon ayant été délibérément constitué de documents contestés. C'est une étude sur l'origine des désaccords, non une mesure de la fréquence à laquelle quelqu'un a raison.

Quand la mesure économique devient le signal d'apprentissage

Rien de tout cela ne posait problème à l'évaluation elle-même. Les équipes n'ont jamais vu le codage de première passe ; ce dont elles disposaient, c'était de dix heures au plus avec la Topic Authority. Le problème commence une étape plus loin, dans la pratique ordinaire, lorsque la mesure économique cesse d'être un étalon pour devenir ce à quoi un système est ajusté. Lorsqu'un classifieur apprend à partir du codage de la relecture de première passe, parce que ce sont les seules données étiquetées que l'on puisse produire à grande échelle à un coût supportable, il hérite de tout ce que ce codage a manqué. Un système entraîné à s'accorder avec le relecteur apprend à s'accorder avec le relecteur. Il n'apprend pas à avoir raison, et son score d'exactitude, calculé sur le codage même qui a servi à l'entraîner, ne peut distinguer l'un de l'autre.

La même forme, dans notre propre piste d'audit

Nous avons retrouvé cette forme dans notre propre travail, et il n'a pas fallu d'audit externe pour la déceler. Il a fallu que deux personnes d'une autre partie de l'équipe posent tout haut une question dérangeante. L'une a demandé qui produisait réellement les preuves sur lesquelles portait une vérification. L'autre a demandé quelle était l'entrée la plus faible possible qui laisserait malgré tout notre confirmation en position vraie. Nous avons éprouvé ces deux questions sur le système réel plutôt que d'en débattre, et la réponse s'est révélée pire que ce que l'une et l'autre laissaient entendre. Un enregistrement destiné à prouver qu'une affirmation juridique avait été correctement vérifiée revenait confirmé même lorsque le texte sous-jacent servant de référence avait été inventé par celui-là même qui produisait l'enregistrement. Il était cohérent en interne. Chaque partie s'accordait avec toutes les autres. Il ne lui avait simplement jamais été demandé de s'accorder avec quoi que ce soit d'extérieur à lui.

Cohérence interne et authenticité ne sont pas la même propriété, et un indicateur unique et rassurant laissera toujours la première tenir lieu de la seconde, car celui qui le lit n'a aucun moyen de savoir laquelle des deux on lui a remise. Nous avons donc démonté l'indicateur. Ce qui passait auparavant pour un seul mot doit désormais énoncer précisément ce qui a été vérifié et ce qui ne l'a pas été, et un enregistrement qui n'a été ancré à rien d'extérieur à ses propres affirmations le dit, au lieu de se rabattre par défaut sur "tout va bien".

L'entrée conçue pour le tromper

La leçon qui sous-tend les deux récits est la même, à quatorze ans d'intervalle, dans des systèmes qui n'ont rien d'autre en commun. Lorsqu'il n'existe aucun moyen économique de vérifier si une chose est vraie, la tentation est de vérifier si elle s'accorde avec elle-même, ou avec celui qui est déjà enclin à lui donner raison. Ce n'est pas un raccourci vers la vraie réponse. C'est une autre question revêtue des habits de la vraie réponse. Et le seul moyen de la démasquer, c'est d'aller chercher, délibérément, l'entrée conçue précisément pour la franchir, avant que quelqu'un d'autre ne le fasse.

Sources : Grossman, M. R., et Cormack, G. V. (2012). Inconsistent Responsiveness Determination in Document Review: Difference of Opinion or Human Error? 32 Pace Law Review 267. Hedin, B., Tomlinson, S., Baron, J. R., et Oard, D. W., Overview of the TREC 2009 Legal Track.Sources : Pace Law Review 32:2 · TREC 2009 Legal Track overview