Todo el mundo verifica la IA jurídica. Casi nadie la verifica frente a algo real.

Esta semana acabamos en tres conversaciones sin relación entre sí que empleaban la misma palabra, verificación, para referirse a tres cosas distintas. Una fue con una plataforma que puntúa las salidas de la IA frente a una rúbrica. Otra partía de un artículo de Stanford, Berkeley y NVIDIA, analizado con agudeza por un boletín de tecnología jurídica que seguimos. Otra trataba del próximo plazo de cumplimiento del Reglamento de IA de la UE, a once días vista en el momento de escribir esto. Puestas una al lado de la otra, encajan casi a la perfección con tres capas distintas que el sector no deja de reducir a una sola palabra, y el ámbito jurídico es aquel en el que reducirlas sale más caro, porque el precio de equivocarse con aplomo es una cita que no existe, o un holding que no es lo que un dictamen afirma.

Esta es la taxonomía y, a continuación, la parte técnica: lo que hace falta de verdad para construir la tercera capa, la que casi nadie construye, porque es la menos generalizable y la más costosa de las tres.

Tres cosas que la gente llama "verificación"

Verificación de divulgación. ¿Se le dijo al usuario que habla con un sistema y no con una persona? ¿Se etiquetó el contenido sintético? ¿Se formó al personal sobre los riesgos de las herramientas que utiliza? Esto se corresponde con el Artículo 4 (alfabetización en IA, aplicable desde el 2 de febrero de 2025) y el Artículo 50 (transparencia, exigible a partir del 2 de agosto de 2026) del Reglamento de IA. Es real y no es opcional, y resulta auditable a escala de mercado precisamente porque no exige que nadie compruebe si la salida subyacente es correcta. Un regulador puede confirmar que un programa de formación tuvo lugar. Un regulador no puede, en todo un mercado, confirmar que un análisis jurídico concreto fue correcto.Fuentes: Reglamento de IA (UE) 2024/1689

Verificación de confianza. Un LLM califica la salida de otro LLM frente a una rúbrica y devuelve una puntuación. Es la capa que más rápido evoluciona ahora mismo, y está mejorando de verdad. El desarrollo reciente que resulta interesante es un artículo titulado LLM-as-a-Verifier (Kwok et al., Stanford, Berkeley y NVIDIA, arxiv.org/abs/2607.05391), que constató que un modelo juez estándar, al que se le pide puntuar a un candidato en una escala de cinco puntos, descarta casi toda su propia señal en el momento en que emite un único número entero. Bajo ese número entero subyace una distribución de probabilidad completa sobre cada puntuación posible, y leer esa distribución en lugar de la salida redondeada convierte a un juez tosco y propenso a los empates en uno mucho más afinado. En un exigente banco de pruebas de programación, un juez discreto empata dos candidatos el 26,7 por ciento de las veces. Leer en cambio la esperanza continua produce cero empates en el mismo banco de pruebas y, en un ejemplo adversario que los autores diseccionan, una sutil trampa de validación que un juez discreto pasó por alto 88 veces de cada 100, la versión continua la detecta correctamente la mayoría de las veces, y más aún a medida que la escala de puntuación se hace más fina.Fuentes: LLM-as-a-Verifier (Kwok et al., arXiv:2607.05391)

Se trata de un avance real y útil, y no cuesta nada añadirlo: sin entrenamiento, solo una lectura distinta de los logits que un modelo en marcha ya calcula. Pero los propios bancos de pruebas del artículo comparten una propiedad que sus autores reconocen sin rodeos: cada uno viene con una clave de respuestas inequívoca, una prueba oculta que se resuelve de forma limpia, un robot que, o bien agarra el objeto, o bien no lo agarra. Marco Rossi, autor del boletín The LegalTech Overlap, tomó ese límite y construyó su propia prueba de cuatro preguntas para determinar dónde se gana la técnica un lugar en la mesa de un abogado, empezando por si la tarea tiene siquiera una noción comprobable de lo correcto. Donde no la tiene, una puntuación pulida y segura de sí misma no supone una mejora frente a un empate honesto. Según el planteamiento de Rossi, un número así viste un juicio controvertido con "the costume of a measurement" (el disfraz de una medición) e invita al lector a confiar en algo que en realidad nunca se midió. El único caso que menciona como capaz de superar cada una de sus cuatro puertas sin titubear es comprobar que una cita de un dictamen jurídico existe realmente y respalda de verdad aquello para lo que se cita.

Verificación de fuente. ¿La afirmación fáctica o jurídica concreta que se examina se corresponde con una fuente concreta, real, comprobable, actual y correcta en su jurisdicción? Es la más acotada de las tres, la más difícil de construir y la que menos se generaliza, porque necesita un corpus real del dominio, no un juez de propósito general. Es también la capa que ni la divulgación ni la puntuación de confianza tocan en absoluto.

Qué requiere realmente la verificación de fuente

Esta es la parte fácil de esbozar y difícil de construir, así que esto es lo que hace falta de verdad, mecánicamente.

Un corpus real, actual y correcto en su jurisdicción. No se puede verificar una cita frente a lo que un modelo recuerda, porque lo que un modelo recuerda es exactamente aquello que produjo la alucinación en primer lugar. Hace falta un cuerpo recuperable de texto de fuentes primarias reales, leyes y jurisprudencia, que sea actual (un artículo derogado el año pasado no puede fundamentar una afirmación sobre el derecho vigente hoy, de modo que el corpus necesita una dimensión temporal, no solo una instantánea estática) y correcto en su jurisdicción (la misma doctrina significa algo distinto según la jurisdicción, y recurrir en silencio a la regla de una jurisdicción como si fuera universal es un modo de fallo silencioso en sí mismo, fácil de pasar por alto cuando los datos de prueba resultan estar sesgados hacia el lugar donde se construyó primero el sistema).

Correspondencia de holding, no proximidad vectorial. La recuperación conduce al vecindario correcto. La similitud de embeddings entregará sin reparos un caso real y existente que resulta temáticamente contiguo a la afirmación en cuestión, y la contigüidad temática no equivale a que el caso diga de verdad aquello para lo que se cita. Una cita puede apuntar a una resolución genuina y aun así tergiversar su holding, y ese modo de fallo supera sin problema una comprobación de existencia, lo que lo hace más peligroso que un caso inventado, ya que un caso inventado al menos a veces puede detectarse con una búsqueda de existencia ingenua. Una segunda comprobación, independiente, tiene que vincular la afirmación concreta con el texto fuente concreto, no solo confirmar que algo plausible apareció cerca.

Auditoría independiente, no autoevaluación. El proceso que genera una respuesta es, estructuralmente, el proceso equivocado para preguntarle si esa respuesta es correcta. Un modelo lo bastante seguro como para inventarse una cita no se vuelve, por el hecho de que se le formule una pregunta de seguimiento, de pronto más escéptico respecto de su propia salida. Este es el verdadero argumento para separar la generación y la verificación en dos pasadas independientes: no un modelo corrigiendo sus propios deberes, sino dos procesos diseñados para discrepar de verdad entre sí, donde la única tarea del segundo es intentar refutar la afirmación del primero en lugar de confirmarla.

Descomposición, probada de forma adversaria, no solo diseñada una vez. Una única pregunta vaga, ¿es correcta esta cita?, esconde un puñado de preguntas más acotadas y genuinamente comprobables: ¿existe la autoridad citada?, ¿coincide la fecha?, ¿coincide la cantidad?, ¿dice de verdad el holding lo que se afirma? Dividir la pregunta es donde reside la mayor parte de la exactitud, y es también donde se esconde el riesgo, porque una rúbrica construida a mano solo protege frente a los modos de fallo que su autor previó. La brecha peligrosa de una descomposición nunca es la subcomprobación que falta de forma evidente, sino la que nadie escribió porque nadie pensó en esa manera concreta de estar sutilmente equivocado. En la práctica, eso significa pruebas adversarias frente a categorías específicas de mutación que preservan la plausibilidad superficial mientras invierten el significado real: una negación invertida, puede a no puede; un cuantificador debilitado en silencio, todos a algunos; una magnitud alterada en un orden de diez, quinientos miligramos a cinco mil; una suma escrita con palabras que ya no coincide con las cifras dos frases más adelante; una fecha desplazada justo por el tipo de pequeña edición que introduce una paráfrasis descuidada. Cada una de estas necesita su propia prueba explícita y ejecutable, en cada idioma en el que funciona el sistema, porque una mutación que un verificador detecta en un idioma puede pasar en silencio en un idioma para el que nadie construyó una prueba, y una garantía que se cumple en un idioma mientras falla calladamente en otro es peor que no tener garantía alguna, ya que desde fuera parece cobertura.

La abstención como salida de primera clase, no como recurso de reserva. Un sistema de verificación necesita una tercera respuesta genuina, no solo verificado o no verificado, sino una declaración explícita de que una determinada afirmación sencillamente no es de las cosas que pueden comprobarse, junto con el motivo. La mayoría de los productos de IA jurídica están construidos para no volver nunca con las manos vacías, de modo que una pregunta sin respuesta real se fuerza a tener una de todos modos y, una vez que se expresa como puntuación, nada aguas abajo puede saber que en su origen no tenía respuesta. Construir un sistema capaz de decir, con claridad, que esto queda fuera de lo que puede verificar, es una decisión de producto más difícil de lo que parece, sobre todo porque esa respuesta es la que hace que el producto se quede callado justo cuando una demostración quiere que hable.

Por qué la regulación no cierra esto, y nunca iba a hacerlo

Nada de esto es una crítica a la capa de cumplimiento. Las obligaciones de divulgación existen porque son lo que un regulador puede comprobar realmente a escala de mercado, de forma barata y repetida, sin leer el fondo de cada salida que la IA de una empresa haya producido jamás. Es una elección de diseño razonable para una regulación que ha de aplicarse a toda empresa que use IA, no solo a las que construyen herramientas jurídicas. Pero implica que el pleno cumplimiento y la plena corrección se sitúan en ejes genuinamente independientes. Una empresa puede tener cada divulgación en orden, cada empleado formado, cada salida sintética etiquetada exactamente como exige la ley, y aun así estar comercializando un asistente jurídico que inventa una cita o tergiversa un holding, porque ningún artículo del Reglamento de IA formula esa pregunta concreta, y ninguna puntuación de confianza de un juez de propósito general está construida para responderla tampoco, no para la controvertida mayoría del trabajo jurídico.

Poner nombre a la brecha

Al alinear las tres capas, la forma del esfuerzo del sector se vuelve evidente. Una energía enorme se destina a la divulgación, porque la regulación la exige con una fecha límite. Una energía real y de rápido avance se destina a la puntuación de confianza, porque es de propósito general, no requiere entrenamiento y se transfiere a cada dominio del que un modelo juez haya visto texto alguna vez. Muy poca se destina a la verificación de fuente, porque es lo contrario de propósito general. Necesita un corpus real para el dominio concreto, una cobertura adversaria construida y mantenida para las maneras concretas que tiene ese dominio de estar sutilmente equivocado, y una arquitectura que trate el silencio como algo más barato que estar equivocado con aplomo. No se transfiere. Hay que construirla una vez, con honestidad, para el único dominio del que realmente se posee el corpus.

Esa es la capa que llevamos la mayor parte del último año construyendo específicamente para el derecho, y es, con diferencia, la menos vistosa de las tres. No produce un único número limpio como sí hace una puntuación de confianza, ni viene con un certificado como sí lo hace el cumplimiento en materia de divulgación. Lo que produce, cuando se construye con honestidad, es algo más acotado y más difícil de falsear: una afirmación que, o bien se corresponde con una fuente real, o bien se marca como no comprobable en absoluto, sin nada suavizado en el medio.