El proxy siempre supera su propia prueba

En 2009, el Instituto Nacional de Normas y Tecnología de Estados Unidos, NIST, organizó el TREC Legal Track, una evaluación de métodos para localizar documentos pertinentes ("responsive") en un litigio. Su tarea interactiva incorporaba una apelación. Una vez que los equipos participantes habían enviado sus ejecuciones, una muestra de documentos era codificada por revisores de primera pasada para construir el patrón de referencia, y todo equipo que considerase que un documento había sido codificado erróneamente podía apelarlo ante el Topic Authority, la autoridad del tema: un abogado sénior que representaba el papel del letrado con la responsabilidad última de decidir qué es relevante y qué no en una exhibición documental real. Ese juicio era definitivo. No había segunda apelación.

Los equipos apelaron alrededor del 5 por ciento de los documentos evaluados, y apelaron allí donde esperaban ganar, porque cada decisión revocada elevaba su propia puntuación. De esas apelaciones, prosperó el 89 por ciento. En los documentos que alguien se molestó en discutir, el abogado sénior discrepó del revisor de primera pasada casi nueve de cada diez veces.

No es una zona gris. En su mayoría, error manifiesto.

Maura Grossman y Gordon Cormack, dos de los investigadores que construyeron el campo, volvieron sobre ello y se preguntaron por qué. Su conclusión, publicada en Pace Law Review en 2012, no fue que la pertinencia sea por naturaleza una cuestión de opinión. Al releer ellos mismos los documentos revocados, juzgaron que aproximadamente nueve de cada diez eran claramente pertinentes o claramente no pertinentes, y que solo en torno al 5 por ciento resultaban genuinamente discutibles. Las discrepancias no eran decisiones ajustadas en el límite de un concepto difícil. Eran, sobre todo, simple error humano.

Tampoco perdonaron a la autoridad. En el 4 a 8 por ciento de los documentos que releyeron, quien a su juicio erraba de forma manifiesta era el Topic Authority, no el revisor. Grossman había ejercido de Topic Authority en uno de los temas; al reexaminar diez de sus propios documentos, revirtió tres y calificó otros dos de discutibles. Y el artículo afirma sin rodeos que sus cifras no sirven para estimar con qué frecuencia se equivocan el revisor o la autoridad en el conjunto de la colección, porque la muestra se construyó deliberadamente con documentos controvertidos. Es un estudio sobre el origen del desacuerdo, no una medición de con qué frecuencia acierta alguien.

Cuando la medición barata se convierte en la señal de entrenamiento

Nada de esto era un problema para la evaluación en sí. Los equipos nunca vieron la codificación de primera pasada; lo que tenían eran hasta diez horas con el Topic Authority. El problema empieza un paso más adelante, en la práctica ordinaria, cuando la medición barata deja de ser un patrón de medida y pasa a ser aquello a lo que se ajusta un sistema. Cuando un clasificador aprende de la codificación de la revisión de primera pasada, porque son los únicos datos etiquetados que alguien puede permitirse producir a escala, hereda todo lo que esa codificación tenía de erróneo. Un sistema entrenado para coincidir con el revisor aprende a coincidir con el revisor. No aprende a acertar, y su puntuación de exactitud, calculada contra la misma codificación con la que se entrenó, no puede distinguir ambas cosas.

La misma forma, en nuestro propio rastro de auditoría

Encontramos esa forma en nuestro propio trabajo, y no hizo falta una auditoría externa para detectarla. Bastó con que dos personas de otra parte del equipo formularan en voz alta una pregunta incómoda. Una preguntó quién producía realmente la evidencia contra la que se ejecutaba una comprobación. La otra preguntó cuál era la entrada más débil posible que aun así dejaría nuestra confirmación en verdadero. Pusimos ambas preguntas a prueba contra el sistema real en lugar de discutirlas, y la respuesta fue peor de lo que insinuaba cualquiera de las dos. Un registro creado para demostrar que una afirmación jurídica había sido verificada correctamente seguía devolviendo confirmación incluso cuando el texto subyacente contra el que se contrastaba había sido inventado por quien produjo el registro en primer lugar. Era internamente coherente. Cada parte concordaba con todas las demás. Sencillamente, nunca se le había pedido que concordara con nada ajeno a sí mismo.

La coherencia interna y la autenticidad no son la misma propiedad, y un único indicador tranquilizador siempre permitirá que la primera suplante a la segunda, porque quien lo lee no tiene forma de saber cuál de las dos le han entregado. Así que desmontamos el indicador. Lo que antes pasaba por una sola palabra ahora tiene que decir específicamente qué comprobó y qué no, y un registro que no ha sido anclado a nada ajeno a sus propias afirmaciones lo declara, en lugar de asumir por defecto que todo está bien.

La entrada creada para engañarlo

La lección que subyace a ambas historias es la misma, con catorce años de diferencia, en sistemas que no tienen nada más en común. Cuando no existe una forma barata de comprobar si algo es cierto, la tentación es comprobar si concuerda consigo mismo, o con quien ya está predispuesto a darle la razón. Eso no es un atajo hacia la respuesta real. Es una pregunta distinta vestida con la ropa de la respuesta real. Y la única manera de detectarlo es buscar, a propósito, la entrada creada específicamente para superarla, antes de que lo haga otro.

Fuentes: Grossman, M. R., y Cormack, G. V. (2012). Inconsistent Responsiveness Determination in Document Review: Difference of Opinion or Human Error? 32 Pace Law Review 267. Hedin, B., Tomlinson, S., Baron, J. R., y Oard, D. W., Overview of the TREC 2009 Legal Track.Fuentes: Pace Law Review 32:2 · TREC 2009 Legal Track overview