Verificado no es lo mismo que defendible

Un texto que publicamos hace poco sostenía que la "verificación" en la IA legal cumple tres funciones distintas a la vez: divulgación (¿etiquetó el resultado?), puntuación de confianza (¿se sostiene la propia certeza de un modelo juez?) y verificación de fuente (¿coincide la afirmación concreta con un documento real concreto?). El argumento era que casi toda la energía de la industria se dedica a las dos primeras y casi ninguna a la tercera, porque la tercera es la única que necesita un corpus de dominio real en lugar de un juez de propósito general.Fuentes: Everyone Is Verifying Legal AI (three layers)

La sección de comentarios hizo algo que un texto aislado rara vez logra: siguió discutiendo después de que el argumento se detuvo, y convergió en una cuarta capa que el texto nunca nombró. Adel Kildeev la abrió: la verificación no pone fin a la responsabilidad, es un paso probatorio previo a que un profesional cualificado lea de forma independiente las fuentes primarias y asuma la titularidad de la decisión. Marco Rossi lo nombró en cuatro letras, LITL, lawyer in the loop. Itamar Rosen afinó aún más la pregunta: ¿debería un piloto anunciar a los pasajeros cada activación del piloto automático, o el pasajero necesita en realidad otra cosa, un piloto formado y responsable y una caja negra que reconstruya lo ocurrido si algo sale mal?

Luego Arkadiy Miteiko, respondiendo directamente bajo el texto, comprimió toda la idea en una línea: "la corrección computacional no es validez institucional". Lo que subyace es que una afirmación con una fuente correcta puede aun así fracasar según quién se apoye en ella, bajo qué autoridad, para qué asunto, en qué momento, y que la confianza en la IA legal proviene menos de que existan citas y más de poder reconstruir y justificar cada uso relevante después del hecho.

Eso no es una reformulación de la verificación de fuente con otras palabras. Es un cuarto eje, separado, y tiene un nombre y un cuerpo de trabajo detrás: Ignacio Adrian Lerer, abogado corporativo y director independiente que escribe precisamente sobre esta frontera entre el resultado de un sistema y la capacidad de una institución para responder por él.

La frontera que Lerer traza una y otra vez

En un texto reciente sobre la reforma pendiente en Argentina en torno a los sistemas autónomos de decisión corporativa, parte del debate sobre la introducción de una forma societaria autónoma en la Ley General de Sociedades, Lerer reencuadra toda la cuestión. Le interesa menos si un sistema puede tener personalidad jurídica que un problema más estrecho y difícil: cuando un sistema autónomo hace algo que nadie aprobó explícitamente, ¿de quién fue la decisión? Su respuesta separa dos roles que se tratan como uno y no deberían serlo. Quien montó el sistema, eligió sus parámetros y definió qué estaba autorizado a hacer responde por un acto distinto del de quien, o de lo que, actuó de forma autónoma dentro de esa configuración. Tratarlos como el mismo actor lleva a que la decisión de configuración se esconda tras la autónoma, o a que se responsabilice a alguien por una conducta contra la que nadie podría haber configurado de antemano. Fundamenta la propuesta deliberadamente en el artículo 19 de la Constitución de Argentina: regular lo que ocurre cuando el sistema causa daño, no los pasos internos por los que decidió cualquier cosa. Control de resultados, no control de proceso.Fuentes: Ignacio Adrián Lerer, on the SCBA AI framework (Abogados.com.ar) · Argentina's "sociedad automatizada" reform (Infobae)

Esa distinción, configurador frente a ejecutor, es el marco más nítido disponible para lo que "defendible" significa en realidad. Una afirmación verificada le dice que el ejecutor produjo algo que coincide con una fuente real. No le dice nada sobre si ese acto concreto de apoyarse en ella ocurrió dentro de la frontera que el configurador efectivamente autorizó, en ese momento, para ese asunto, bajo ese mandato. Son preguntas distintas, y solo una de ellas se responde comprobando la cita.

Donde se vuelve concreto: el perito que no puede explicar el razonamiento

El otro texto relevante de Lerer, sobre un marco de IA judicial que la Suprema Corte de la Provincia de Buenos Aires acaba de aprobar, hace concreta y no teórica la misma distinción. El reglamento exige una supervisión humana "significativa" del trabajo judicial asistido por IA sin definir nunca qué significa eso en la práctica, un umbral abierto alojado dentro de una norma vinculante. El ejemplo que da corta la ambigüedad por sí solo: un perito designado por el tribunal que valida un informe redactado por IA sin seguir de verdad su razonamiento tiene un problema real en el momento en que la contraparte empieza a hacer preguntas en el estrado, un problema que no tiene nada que ver con si las citas de ese informe se comprueban. Lo que realmente se pone a prueba en el interrogatorio contradictorio es la garantía adversarial, la propia capacidad del perito de defender sus conclusiones frente a una pregunta hostil, no la exactitud de lo que el informe citó. El mismo reglamento, en el mismo aliento, vuelve obligatoria la comprobación de una cita generada por IA para el personal judicial. Ambos requisitos conviven lado a lado en una sola norma. Solo uno de ellos puede satisfacerse ejecutando una comprobación.Fuentes: SCBA AI framework, Resolución SC 1.719/26 (Diario Judicial) · SCBA official note

Este es el patrón que conviene nombrar con precisión: una afirmación con la fuente correcta entregada a alguien que no puede reconstruir por qué se apoyó en ella sigue siendo un pasivo. Una afirmación más débil, sin verificar, que la persona entiende plenamente, puede explicar y de la que asume la titularidad, quizá sobreviva a un escrutinio que la primera no supera, porque el escrutinio en un procedimiento adversarial pone a prueba la autoridad y la comprensión del humano, no la existencia de la cita.

Qué exige la defendibilidad en realidad, mecánicamente

Si la verificación de fuente necesita un corpus real, una forma de vincular una afirmación concreta a un documento concreto, la defendibilidad necesita un conjunto de cosas distinto y más difícil.

Autoridad ligada a un momento, no solo a un rol. La legitimación para apoyarse en un resultado asistido por IA es específica del momento y del mandato, no una propiedad permanente de un cargo. Verificar que una cita es real no dice nada sobre si la persona que la invoca ostenta actualmente la autoridad que su reliance implica, para este asunto, en esta etapa del mismo. La división configurador-ejecutor de Lerer vuelve precisa la modalidad de fallo: la pregunta nunca es solo "did the system act correctly", es "was this specific act of reliance dentro del alcance que la configuración efectivamente autorizó". Una firma válida antes de que caduque un mandato no es automáticamente válida después. Una herramienta autorizada para una categoría de asunto no arrastra la autorización a una categoría contigua solo porque nadie la volvió a comprobar.

Razonamiento preservado, no solo conclusiones aprobadas. Un sistema que entrega a un profesional una respuesta final con citas adjuntas le permite aprobar una conclusión sin absorber el razonamiento que la produjo. El interrogatorio contradictorio no pone a prueba conclusiones. Pone a prueba el razonamiento, bajo presión, en tiempo real, por parte de alguien cuyo trabajo es encontrar la costura. Un flujo de trabajo construido para la defendibilidad tiene que obligar al humano a recorrer y afirmar la propia cadena de razonamiento como un paso distinto de aceptar el resultado final con las citas comprobadas, porque no son el mismo acto de revisión, y solo uno de ellos produce a alguien capaz de sobrevivir a ser interrogado al respecto.

El registro tiene que nombrar al actor responsable, no solo dejar constancia de que se ejecutó una comprobación. Un registrador de vuelo que muestra que el piloto automático se activó en un momento dado pero no qué piloto estaba al mando y era responsable en ese momento carece de la parte que importa cuando algo sale mal. El fallo equivalente en la IA legal es un sistema que registra "verificación superada" sin vincular ese resultado a una persona concreta que lo revisó, bajo una autoridad concreta, en una fecha concreta, y a la que se puede interrogar sobre esa decisión más adelante. La verificación produce un hecho sobre una afirmación. La defendibilidad exige un hecho sobre la relación de una persona con esa afirmación, en ese momento.

Los estándares de supervisión indefinidos son una brecha viva, no hipotética. La observación de Lerer sobre la "supervisión humana significativa" no es una crítica abstracta a la redacción normativa. Es la descripción de una norma que existe ahora mismo, vinculante, con un estándar que nadie ha operacionalizado. Una revisión de mero trámite, cinco segundos de hacer clic en aprobar, satisface técnicamente que "a human supervised this" bajo una norma que nunca dice cuánta supervisión cuenta, sin aportar nada de la defendibilidad que la norma existe para producir. Cualquier sistema que reivindique el "human in the loop" (humano en el circuito) como control tiene que poder decir, en concreto, qué distingue una supervisión que se sostendría de una que no, porque la norma normalmente no lo dice, y la brecha recae por defecto sobre quien hace la pregunta después de que algo ya ha salido mal.

Por qué esto no colapsa en la verificación

Sería ordenado que la defendibilidad resultara ser la verificación de fuente con otro nombre, una subcomprobación más que añadir al mismo pipeline. No lo es, y tratarla así pierde el verdadero punto. La verificación de fuente responde a una pregunta que un regulador, un adversario o un auditor hace sobre el contenido: ¿coincide esta afirmación con la realidad? La defendibilidad responde a una pregunta que un tribunal, una corte o un consejo hace sobre la persona: ¿tenía usted la legitimación y la comprensión para apoyarse en esto, aquí, ahora, y puede mostrar su trabajo? Un sistema puede producir una afirmación perfectamente verificada y aun así fracasar por completo en la segunda pregunta, y un sistema puede producir algo más débil que la sobreviva plenamente, porque la segunda pregunta nunca fue sobre la afirmación en primer lugar.

Esa es también la razón por la que la solución no se parece a un pipeline de puntuación. La verificación puede automatizarse de principio a fin, porque es una propiedad de un documento cotejado contra otro documento. La defendibilidad no puede automatizarse del mismo modo, porque es una propiedad de la relación de un humano concreto con una decisión concreta, y lo máximo que la arquitectura puede hacer es volver esa relación reconstruible en lugar de darla por supuesta. Lo que sí puede garantizar es que el razonamiento se recorrió de verdad en lugar de aprobarse de mero trámite, que el registro nombra quién decidió qué bajo qué autoridad, y que las brechas en lo que cuenta como supervisión adecuada se traten como preguntas abiertas por fijar en lugar de taparse con una casilla de verificación.

Nada de esto estaba planeado como un segundo texto cuando se publicó el primero. Salió de un hilo de comentarios real, en tiempo real, de personas que empujaron el argumento más lejos de lo que lo hizo el borrador original. Es una forma extraña de construir un argumento, en público, con las personas que van a usarlo, pero produjo una distinción más afilada que la que habría dado una sala cerrada, y lo honesto es decirlo.