El pase vacuo: por qué la verificación no puede distinguir el silencio del visto bueno

Todo sistema de verificación, por sofisticado que sea, acaba teniendo que emitir su juicio a través de un canal de ancho de banda limitado. En algún punto entre la profundidad de lo que realmente se comprobó y el informe que lee una persona, esa profundidad queda comprimida en algo muy próximo a un único bit: marcado, o no marcado. Esta compresión no es un fallo de implementación. Es casi inevitable, porque quien revisa miles de salidas al día no puede absorber el estado interno completo de un verificador para cada una de ellas. Pero la compresión tiene un coste concreto y poco examinado, y ese coste no disminuye a medida que los sistemas de verificación mejoran. Crece, porque los sistemas mejores generan más confianza, y la confianza es precisamente el recurso que una señal comprimida no puede llegar a justificar.

La afirmación enunciada con precisión

Esta es la afirmación estructural que sostiene el texto, enunciada con toda la precisión posible sin referencia a ningún sistema concreto: una arquitectura de verificación que reporta su resultado a través de un canal expresivo solo lo suficiente para distinguir pasa de falla no puede, por construcción, distinguir pasa de no evaluado. Ambos colapsan en el mismo estado observable. Ninguna cantidad de cuidado aguas abajo, ningún auditor releyendo la salida, ningún rediseño de panel que conserve el mismo canal, puede recuperar una distinción que ya fue destruida en el punto de compresión. La solución, si la hay, tiene que producirse en el punto donde se genera el resultado, no en ningún punto posterior.

Suena casi demasiado simple para merecer un enunciado formal, y esa es exactamente la razón por la que reaparece una y otra vez en campos que no tienen ninguna otra cosa en común.

La verdad vacua como semilla formal del problema

Conviene empezar por una pieza de lógica formal estándar que no tiene nada que ver con el software ni con el derecho. Un enunciado universalmente cuantificado, de la forma para todo elemento de este conjunto, se cumple la propiedad P, es trivialmente verdadero cuando el conjunto está vacío. No hay ningún elemento del conjunto vacío que deje de tener la propiedad P, porque no hay elemento alguno. Los lógicos llaman a esto una verdad vacua, y no es una paradoja ni un truco. Es sencillamente lo que significa el cuantificador. Todas las citas de este escrito han sido verificadas como vigentes es una afirmación exactamente de esa forma. Si el escrito no contiene ninguna cita, la afirmación es vacuamente verdadera, y se presentará, en cualquier sistema que comprueba mecánicamente afirmaciones de esa forma, de modo idéntico a un escrito cuyas cuarenta citas fueron comprobadas una a una y todas resultaron vigentes.

La razón por la que esto importa más allá de un aula de lógica es que los sistemas de verificación están construidos, casi sin excepción, en torno a afirmaciones de esa forma. Todos los elementos marcados fueron revisados. Todas las operaciones dentro del alcance fueron sometidas a prueba. Todas las salidas del modelo fueron comprobadas respecto de la propiedad en cuestión. Cada una de ellas es una afirmación universal sobre algún conjunto de trabajo, y cada una es vulnerable exactamente al mismo colapso en cuanto ese conjunto de trabajo puede estar vacío, ya sea por una ausencia honesta, por una decisión de alcance, o por cualquier cosa aguas arriba que reduzca el conjunto a la nada antes de que la comprobación llegue siquiera a ejecutarse. La lógica de verificación en sí misma puede ser impecable. El caso vacuo sigue pasando, porque pasar es lo que la lógica está diseñada para hacer cuando no queda nada en lo que fallar.

El argumento de la capacidad de canal

Conviene llevar la misma idea al lenguaje de la teoría de la información, porque ese encuadre vuelve considerablemente más nítida la segunda mitad del argumento, esto es, por qué esto no puede parchearse aguas abajo.

Tratemos la salida de un paso de verificación como un canal. El canal tiene una capacidad finita, es decir, puede distinguir un número finito de estados subyacentes distintos. Un sistema que reporta únicamente pasa o falla tiene un canal de exactamente un bit. Pero el espacio real de estados que podría haber producido ese informe es mayor que dos. Como mínimo existen: la comprobación se ejecutó y el objetivo la satisfizo, la comprobación se ejecutó y el objetivo la incumplió, la comprobación no se ejecutó porque no había nada que comprobar, la comprobación no se ejecutó porque algo aguas arriba suprimió la entrada que necesitaba, y la comprobación se ejecutó en un modo degradado que no podía en realidad someter a prueba la propiedad que dice someter a prueba. Eso son al menos cuatro o cinco estados genuinamente distintos, comprimidos en un canal con sitio para dos.

Un resultado básico de la teoría de la información es implacable en este punto: un canal no puede transportar información que no tuvo capacidad de transportar en primer lugar, y nada de lo que se haga después de la transmisión puede recuperar aquello que el propio canal era demasiado estrecho para representar. No importa con cuánto cuidado se lea el único bit que sobrevive, ni cuánta experiencia tenga quien revisa, ni cuántas veces se relea el mismo informe. Las distinciones que importaban se perdieron antes de que el bit llegara a producirse. Cualquier solución que opere del lado de la salida, una lectura más atenta, mejor formación, un segundo revisor, está intentando reconstruir una señal a partir de un canal que estructuralmente no puede transportarla. La única solución que puede funcionar es ensanchar el canal mismo, en el punto donde se produce la compresión, de modo que no evaluado pase a ser un estado que el canal pueda efectivamente expresar y distinguir de evaluado y limpio.

Merece la pena detenerse aquí, porque es la parte que la mayoría de las soluciones operativas malinterpreta. El instinto, cuando alguien señala que un resultado limpio podría significar que no se comprobó nada, es añadir una nota, una salvedad, una llamada al pie que explique la limitación. Pero una llamada al pie sigue estando aguas abajo de la compresión. Si el canal que realmente gobierna el comportamiento, el color del panel, el escalado automático, el campo del que dependen los sistemas aguas abajo, sigue transportando un solo bit, la nota al pie es decoración. Los estados ya están fusionados cuando alguien llega a leerla.

Dónde reaparece esto, y por qué reaparece idéntico cada vez

El patrón aparece dondequiera que un sistema reporte cobertura o cumplimiento mediante una señal binaria o casi binaria, y merece la pena recorrer varios casos con precisión, porque el mecanismo es idéntico siempre aunque el vocabulario del dominio cambie por completo.

Considérese el testeo automatizado de código. Una suite de tests reporta una tasa de aprobación, un cierto número de tests ejecutados y una cierta fracción de ellos superados. Una tasa de aprobación del cien por cien se interpreta, correctamente si se toma de forma aislada, como una buena noticia. Pero una suite de tests con tres aserciones triviales que cubren una porción mínima de la lógica real reporta el mismo número de cabecera que una suite de tests con cobertura exhaustiva de cada rama y cada caso límite, cien por cien de aprobación. La diferencia entre ambas vive enteramente en un segundo número, la cobertura, que mide qué parte del sistema tocaron realmente los tests. Una tasa de aprobación sin una cifra de cobertura al lado, con el mismo peso visual, es una verdad vacua vestida con un traje que inspira confianza. Precisamente por eso las organizaciones de ingeniería serias insisten en seguir la cobertura como métrica de primer nivel y no como diagnóstico opcional: sin ella, la tasa de aprobación por sí sola no puede distinguir una validación exhaustiva de la ausencia de cualquier cosa en la que fallar.

Considérese el análisis clínico de laboratorio. Un ensayo diagnóstico devuelve un negativo. Ese negativo podría significar que la muestra carecía genuinamente del analito buscado, que es el resultado que todo el mundo da por supuesto al leer el informe. También podría significar que la muestra se degradó en tránsito, o se recogió incorrectamente, o que el reactivo había fallado, de maneras que dejan al ensayo incapaz de detectar el analito aunque estuviera presente en abundancia. Un proceso de laboratorio bien diseñado incluye un control interno, una segunda medición cuya única función es confirmar que el ensayo era realmente capaz de detectar un positivo si lo hubiera, precisamente para que un resultado negativo pueda distinguirse de un no resultado disfrazado de resultado negativo. Un proceso de laboratorio sin ese control interno tiene, estructuralmente, exactamente el mismo problema de canal de un bit que el ejemplo del testeo de código, solo que con vidas en juego.

Considérese la auditoría financiera. Un auditor emite una opinión sobre un conjunto de estados financieros, y una opinión sin salvedades es leída por casi todo el mundo fuera de la profesión auditora como estas cifras están bien. Lo que esa opinión certifica en realidad es bastante más estrecho: que dentro de un alcance definido, empleando una metodología de muestreo definida, y sujeto a un umbral de materialidad, nada de lo sometido a prueba alcanzó el nivel de excepción reportable. Una clase de operaciones excluida del alcance, una población definida de forma lo bastante estrecha como para excluir las operaciones que de verdad importaban, o una muestra que resultó no incluir los casos problemáticos, producen todas ellas la misma opinión sin salvedades que produciría una contabilidad genuinamente limpia. El párrafo de alcance existe específicamente para impedir ese colapso, y buena parte de la crítica recurrente a la calidad de la auditoría a lo largo de décadas de historia financiera se reduce, en el fondo, a la observación de que los lectores tratan la opinión de cabecera como el canal e ignoran el párrafo de alcance, que es el que transporta los bits que faltan.

Cada uno de estos ejemplos procede de un campo sin vocabulario compartido, sin regulador compartido y sin historia compartida. Que el mecanismo reaparezca idéntico en los tres es la prueba más sólida de que se trata de una propiedad estructural de los canales de verificación binarios en general, y no de una idiosincrasia de ninguno de ellos.

Dónde reaparece esto en nuestro propio dominio

La misma estructura aparece en el problema específico de verificar que las autoridades citadas por una pretensión jurídica existen realmente, siguen vigentes y sostienen aquello que se les atribuye. Una pasada de verificación sobre las citas de un documento produce, en el nivel que un lector consume efectivamente, algo muy próximo a una señal única: citas comprobadas, ninguna rota. Esa señal es exactamente igual de vulnerable al caso vacuo que todos los ejemplos anteriores. Un documento que no formula citas que requieran verificación, y un documento cuyo aparato de citas está presente en sustancia pero ha quedado invisible para la comprobación mecánica, ya sea por un reformateo, por una paráfrasis que elimina los marcadores formales que busca un parser, o por cualquier otra transformación que suprima los rasgos superficiales de los que depende el paso de verificación, producen ambos el mismo estado aguas abajo: nada que marcar. Quien mire ese estado no puede saber, solo a partir del estado, si tiene delante un documento que no formula afirmaciones necesitadas de fundamentación, o un documento que formula afirmaciones sin fundamentar en una forma que el verificador no alcanza a ver.

La distinción importa aquí más que en la mayoría de los demás ejemplos, porque los dos casos acarrean consecuencias muy distintas y resulta fácil confundirlos bajo presión. Una breve nota procesal que genuinamente no cita nada no supone un riesgo. Una afirmación sustantiva de autoridad vinculante despojada de su forma verificable, deliberadamente o por accidente, es exactamente el riesgo que el paso de verificación existe para detectar, y es precisamente el caso que oculta el colapso vacuo.

La única solución duradera se sigue directamente del argumento de capacidad de canal expuesto arriba: la salida de la verificación tiene que transportar un tercer estado, explícito y con el mismo peso, separado tanto de pasa como de falla, para exactamente esta situación, y ese tercer estado tiene que tratarse como al menos tan significativo como un fallo, y no como un primo silencioso del éxito. Un documento con afirmaciones sustantivas de autoridad no verificables no debería leerse igual que un documento sin nada que verificar. Incorporar esa distinción en la señal misma, y no en una salvedad añadida después de que la señal ya se haya generado y consumido, es el único lugar de la cadena donde los bits que faltan todavía pueden recuperarse, porque es el único punto anterior a que la compresión ya haya ocurrido.

El principio general de diseño

Generalizar a partir de todos los casos anteriores arroja una regla de diseño lo bastante simple para enunciarse en una sola frase y lo bastante exigente como para que casi ninguna arquitectura de verificación la satisfaga por defecto: todo sistema capaz de producir un resultado limpio debe ser también capaz de producir, como salida distinta e igualmente visible, la declaración de que no evaluó aquello que se le está leyendo como haber evaluado.

De tomarse en serio esta regla se siguen tres consecuencias, y ninguna de ellas es un extra opcional.

Primera, no evaluado no puede quedar silenciosamente asimilado por defecto al mismo cajón que evaluado y limpio en ningún punto de la cadena, desde el momento en que se ejecuta la comprobación hasta el momento en que una persona lee un resumen de ella. Cada lugar donde se asigna un valor por defecto cuando faltan datos es un lugar donde este colapso puede reintroducirse incluso después de que la lógica subyacente se haya corregido una vez.

Segunda, la población o conjunto de trabajo sobre el que opera una comprobación necesita quedar registrada y expuesta con la misma prominencia que el resultado. El resultado de un paso de verificación solo es interpretable junto a una declaración honesta de aquello con lo que efectivamente contó. Reportar un resultado sin reportar el tamaño y la composición de lo comprobado es reportar media medición y presentarla como una entera.

Tercera, y la más difícil de interiorizar en el plano organizativo, un resultado inusualmente limpio merece más escrutinio, no menos, cuando el conjunto de trabajo se ha reducido de forma inesperada. Una pasada de verificación con menos elementos que comprobar de los que suele contener la misma clase de documento es una señal por derecho propio, y tratarla como neutra o tranquilizadora, en lugar de como un motivo para averiguar por qué se redujo el conjunto de trabajo, es la vía por la que el caso vacuo acaba causando el mayor daño en la práctica. No porque nadie lo diseñara así, sino porque un sistema que solo advierte problemas no tiene, por construcción, nada que decir sobre la ausencia de un problema que nunca tuvo ocasión de buscar.

Por qué esto se vuelve más urgente, y no menos, a medida que se automatiza la verificación

La última pieza que merece enunciarse de forma explícita es por qué este problema crece en lugar de encogerse a medida que una parte mayor del trabajo de verificación en cualquier campo pasa de una persona escéptica que lo hace a mano a un sistema automatizado que lo hace a escala. Quien revisa manualmente tiende a advertir cuándo había inusualmente poco que revisar, porque hacer el trabajo a mano supone experimentar directamente el tamaño del conjunto de trabajo. La automatización elimina exactamente esa salvaguarda incidental. Una cadena que ejecuta la misma comprobación un millón de veces al día produce un millón de bits sueltos, y nadie está en condiciones de advertir, caso por caso, que algunos de esos resultados provenían de un conjunto de trabajo vacío y no de uno genuinamente limpio. Aquello mismo que hace valiosa la verificación automatizada, su capacidad de producir una señal limpia sin que nadie llegue a mirar el material subyacente, es lo mismo que suprime la comprobación incidental que una persona revisora proporcionaba gratis.

Esto no es un argumento contra automatizar la verificación. Es un argumento de que automatizar la verificación sin diseñar por separado y de forma deliberada el tercer estado descrito arriba no solo deja sin resolver el problema del pase vacuo. Elimina la última salvaguarda que lo estaba conteniendo en silencio, y lo hace justo en el momento en que el volumen de resultados en los que se confía sin leerlos crece en órdenes de magnitud. Un punto ciego que una persona atenta absorbía por accidente, documento a documento, se convierte en un punto ciego que opera a la escala de todo lo que toca el sistema automatizado, en cuanto nadie reconstruye a propósito la distinción que falta.