La procedencia no es la vigencia: la confusión en el corazón del grounding de la IA legal

Pregúntese a cualquier proveedor de IA legal si su sistema alucina y se obtendrá alguna versión de la misma respuesta: no, porque toda afirmación se apoya en una fuente recuperada, con una cita que se puede pulsar y verificar. Esto se ha convertido en la definición operativa que la industria da por resuelta. La generación aumentada por recuperación sustituyó a la generación libre, las citas sustituyeron a las meras aseveraciones, y el problema de las alucinaciones se declaró, si no resuelto, al menos contenido.

No está contenido. Se ha reducido a exactamente una de las dos propiedades que una afirmación jurídica bien fundamentada necesita, mientras que la segunda, posiblemente más difícil, queda casi por completo sin abordar. La industria ha resuelto la procedencia. No ha resuelto la vigencia. Y como estas dos propiedades parecen idénticas desde fuera, un sistema que solo posee la primera produce respuestas que son indistinguibles, sobre el papel, de las respuestas que poseen ambas.

De esta confusión trata el presente artículo, y conviene ser preciso al respecto, porque la solución de un problema no hace nada por el otro.

Dos afirmaciones bajo una sola palabra

Cuando un sistema de IA legal afirma que una respuesta está "fundamentada", está formulando de forma implícita dos afirmaciones fácticas distintas, y conviene separarlas por completo.

La procedencia es la afirmación de que una fuente citada existe y dice lo que se le atribuye. Es una afirmación sobre el estado presente de un documento: ¿existe el Article 1124 de algún código civil, y su texto respalda efectivamente la proposición que el modelo le adjuntó? Los fallos de procedencia son lo que la gente quiere decir cuando habla de "cita alucinada": un caso que nunca se resolvió, una norma que nunca se promulgó, o una fuente real forzada para respaldar una afirmación que en realidad no sostiene.

La vigencia es una afirmación completamente distinta: que la fuente citada sigue siendo derecho válido, ahora mismo, o a la fecha a la que se ancle el análisis. No derogada. No sustituida por un acto posterior. No modificada de un modo que altere el texto operativo. No revocada, distinguida hasta la irrelevancia ni limitada por autoridad posterior. La vigencia no es una afirmación sobre el documento. Es una afirmación sobre la relación del documento con todo lo que le ha ocurrido al derecho desde que el documento se redactó.

Son ejes independientes. Una cita puede tener procedencia perfecta y vigencia nula: la fuente es real, la cita textual es exacta, y nada de ello importa porque la disposición fue derogada hace dieciocho meses. Una cita puede, en principio, tener procedencia imperfecta y aun así apuntar a algo con vigencia, aunque este caso es más raro y menos interesante. Los dos modos de fallo requieren estrategias de detección completamente distintas, y esa es la parte que la industria no ha asimilado.

Por qué el RAG con citas solo compra la primera

La generación aumentada por recuperación se ganó su reputación como solución a las alucinaciones porque ataca directamente la procedencia. Se genera el embedding de la consulta, se genera el embedding del corpus, se recuperan los pasajes más próximos, se genera una respuesta condicionada a esos pasajes y se adjunta el pasaje como cita. Es una arquitectura genuinamente eficaz para asegurar que el modelo habla de algo que existe en lugar de inventarlo a partir de su memoria paramétrica. Es un avance real, y no es contra lo que argumenta este artículo.

Pero obsérvese qué está optimizando realmente el paso de recuperación: la similitud semántica entre la consulta y un pasaje del corpus. Nada en esa puntuación de similitud codifica si el pasaje sigue en vigor. Un artículo derogado y la modificación que lo derogó pueden estar a unos pocos tokens de distancia en el mismo texto consolidado, o en filas contiguas de una base de datos, y sus embeddings serán casi idénticos, porque describen la misma materia con un lenguaje similar. Un precedente que fue la autoridad de control durante veinte años y la sentencia de apelación que lo revocó el año pasado compartirán con frecuencia más vocabulario entre sí que el que cualquiera de los dos comparte con una disposición no relacionada pero actualmente válida. La distancia entre embeddings mide de qué trata algo. No mide su validez. No hay ningún mecanismo en una tubería estándar de recuperación vectorial que haga que una fuente obsoleta puntúe más bajo que una vigente, porque la obsolescencia no es una propiedad semántica del texto. Es una propiedad de la posición del texto en una línea temporal que el embedding nunca ve.

Esta es la razón estructural por la que los sistemas RAG pueden superar todas las comprobaciones de procedencia y aun así servir con confianza derecho muerto. La cita es real. El pasaje sí dice lo que se afirma. La recuperación funcionó exactamente como se diseñó. Y la respuesta es errónea, de un modo que ninguna relectura del pasaje citado revelaría, porque el propio pasaje no da ninguna indicación de que haya sido sustituido. La sustitución no está escrita en el texto sustituido. Está escrita en un documento distinto, posiblemente en otro registro, boletín oficial o repertorio, que el paso de recuperación no tenía ninguna razón particular para sacar también a la luz.

Una ilustración desarrollada

Considérese, a título ilustrativo, una disposición de un código civil sobre plazos de prescripción contractual. Supóngase que originalmente fijaba un plazo de quince años, y que una reforma legislativa lo redujo años después a cinco, con una regla transitoria para los contratos anteriores a la reforma. (Este patrón no es hipotético: la Ley 42/2015 de España redujo el plazo general de prescripción de las acciones personales del Article 1964 del Código Civil de quince años a cinco, con un régimen transitorio precisamente de esa índole). Un corpus que haya ingerido correctamente el código consolidado contendrá el texto vigente de cinco años. Pero si el corpus, o la tubería de embeddings, o una representación intermedia en caché, retuvo una versión sustituida, un fragmento de un rastreo más antiguo, un comentario académico que cita la regla antigua, una sentencia de instancia que la aplicó antes de la reforma, entonces un sistema de recuperación no tiene ninguna razón estructural para preferir el texto vigente frente al sustituido. Ambos fragmentos son temáticamente idénticos: ambos tratan, literalmente, del plazo de prescripción para esta clase de contratos. La puntuación de similitud no puede distinguirlos, porque lo que los distingue, que uno está en vigor y el otro no, no está codificado en el texto de ninguno de los dos pasajes. Está codificado en un hecho externo a ambos: la fecha de la reforma, la fecha de entrada en vigor y el régimen transitorio que rige a qué contratos se aplica cada versión.Fuentes: Ley 42/2015 (BOE)

Extiéndase ahora esto a la jurisprudencia, donde el fallo equivalente es más agudo porque no hay un texto consolidado al que recurrir. Un precedente no se revoca editando la resolución original, sino mediante una resolución posterior y separada que declara, según sea la convención de la jurisdicción, que el caso anterior ya no representa el derecho. El texto de la resolución original no cambia. Permanece en el corpus, plenamente citable, leyéndose con exactamente la misma fuerza persuasiva que el día en que se dictó, sin nada en su superficie que indique que un tribunal, dieciocho meses después, adoptó la posición contraria. Un sistema de recuperación construido solo para la procedencia lo sacará a la luz, lo citará con exactitud y lo transcribirá con fidelidad, todo ello mientras sirve derecho que un abogado de primer año con acceso a un citator detectaría en treinta segundos.

Esos treinta segundos hacen más trabajo del que parece. Son el problema entero de la vigencia, comprimido en una única comprobación manual que casi ninguna tubería automatizada realiza.

La infraestructura que ya resuelve la mitad de esto, y la mitad que no toca

La informática jurídica ha dedicado décadas a construir estándares de identificación y de estructura, y conviene ser justos con lo que realmente cubren. ELI (el European Legislation Identifier) y ECLI (el European Case Law Identifier) otorgan a cada pieza de legislación y a cada resolución judicial una identidad estable y resoluble. Akoma Ntoso dota a los documentos jurídicos de una representación estructurada en XML, distinguiendo el preámbulo del texto operativo, los artículos de los apartados, las modificaciones del texto base. El servicio de consolidación de EUR-Lex, expuesto a través de identificadores CELEX con fecha, hace algo más cercano a lo que exige la vigencia: rastrea las versiones consolidadas de la legislación de la UE y expone, para una fecha dada, qué versión de un reglamento o una directiva estaba en vigor.Fuentes: ELI (EUR-Lex) · ECLI (Council conclusions, 2011) · Akoma Ntoso · EUR-Lex consolidated texts

Esto es infraestructura real, y resuelve la procedencia de forma excelente. Un identificador resuelve a un documento. Una representación estructurada indica qué parte del documento se está mirando. Nada de esto, por sí solo, le dice a un sistema consumidor si esa disposición concreta, resuelta en ese identificador concreto, seguía siendo derecho vigente en la fecha en que se plantea la pregunta.

Allí donde este problema se ha resuelto, históricamente, se ha resuelto mediante servicios de citador propietarios y curados a mano. Shepard's Citations y KeyCite existen precisamente porque la vigencia no se deriva de disponer del texto; requiere un grafo separado de tratamiento posterior, construido por un ejército de editores que leen cada nueva resolución y clasifican su relación con cada resolución anterior que cita: seguida, distinguida, limitada, criticada, revocada. Esto ha funcionado, durante más de un siglo, en un puñado de mercados de common law, a un enorme coste editorial continuo, y no existe en una forma que escale a sesenta jurisdicciones de legislación y jurisprudencia simultáneamente. Nadie ha construido el equivalente de Shepard's para la vigencia legislativa a través de sesenta sistemas jurídicos, porque nadie lo había necesitado hasta que un sistema de IA empezó a responder con confianza preguntas a través de las sesenta a la vez.

Qué exige realmente una arquitectura consciente de la vigencia

Si la procedencia se resuelve con un identificador que resuelve a un documento, la vigencia se resuelve con un grafo, y necesita dos tipos de grafo estructuralmente distintos, porque la legislación y la jurisprudencia se sustituyen mediante mecanismos diferentes.

Para la legislación, el grafo es una cadena de modificaciones versionada. Cada nodo es una versión de una disposición, válida durante un intervalo específico. Las aristas representan la modificación (esta versión reemplaza a aquella, con efecto en esta fecha), la derogación parcial o suspensión (esta disposición queda suspendida, no derogada, bajo estas condiciones) y la derogación (esta versión termina por completo la validez de la disposición). Los regímenes transitorios son un tercer tipo de arista, porque especifican qué versión se aplica a los hechos surgidos antes de un determinado corte, que es exactamente el caso que hace tropezar a un sistema que solo conoce el texto vigente. Una consulta de vigencia contra este grafo no es una búsqueda. Es una consulta a fecha: dada una disposición y una fecha, qué versión estaba en vigor, y qué dice esa versión específica. Es la misma información que el aparato de consolidación de EUR-Lex ya rastrea para el derecho de la UE. Todavía no existe, de forma sistemática alguna, para la mayoría de los sistemas jurídicos nacionales, y no existe en absoluto como una API consultable a la que la mayoría de las tuberías de recuperación puedan llamar.

Para la jurisprudencia, el grafo es un grafo de citador, y las aristas cargan con un problema más difícil: exigen clasificar el tipo de tratamiento posterior, no meramente su existencia. Un caso posterior que cita a uno anterior podría estar siguiéndolo, distinguiéndolo por los hechos, limitando su ratio a una clase de casos más estrecha, cuestionando su razonamiento sin revocarlo formalmente, o revocándolo de plano. No son equivalentes, y tratar el "citado por un caso posterior" como una única señal indiferenciada es casi tan poco útil como ignorar el tratamiento posterior por completo. Clasificar automáticamente esta relación es un problema genuinamente difícil de inferencia de lenguaje natural: exige leer el tratamiento real que la resolución posterior da a la anterior, no solo detectar que existe una cita. Se puede entrenar modelos de implicación para que hagan una primera pasada razonable sobre las señales más manifiestas de revocación y distinción, en el lenguaje que los tribunales emplean convencionalmente para expresarlas, pero este es un problema de investigación genuinamente no resuelto en el caso general, y cualquier sistema en producción debería decirlo con honestidad en lugar de fingir que un grafo de citas más una puntuación de similitud constituyen una comprobación de validez.

El resultado, cuando ambos existen, es que una comprobación de vigencia deja de ser una tarea de investigación y se convierte en un recorrido de grafo: dada una afirmación que cita la fuente S, ¿existe una arista activa, con fecha anterior a la de la consulta, que elimine la validez de S, ya sea por modificación, derogación o revocación? Ese recorrido es una operación rápida, determinista y comprobable por máquina. Sin el grafo, no es una versión lenta de la misma comprobación. Sencillamente no se realiza. El sistema no dispone de ninguna estructura de datos en la que la pregunta "¿sigue siendo esto derecho vigente?" sea siquiera representable, de modo que por defecto, en silencio, asume que sí.

Por qué esto se agrava peor que la fabricación

Hay una razón para tratar los fallos de vigencia como más peligrosos que los de procedencia, no menos, y conviene enunciarla directamente porque la atención de la industria corre en sentido contrario.

Una cita fabricada es, al menos en principio, comprobable por su existencia. ¿Existe este caso? Una sola consulta contra cualquier repertorio de jurisprudencia responde a la pregunta, y un revisor diligente, o una comprobación automatizada de existencia, lo detecta. Es un modo de fallo embarazoso, sancionable y muy publicitado, y es también, estructuralmente, el más fácil de los dos frente al que defenderse, porque la comprobación es binaria y la verdad de fondo (¿existe este caso en este repertorio?) es inequívoca.

Una cita obsoleta supera esa misma comprobación. El caso existe. Fue resuelto por el tribunal que dice que lo resolvió, en la fecha que indica, diciendo exactamente lo que se transcribe. Toda comprobación de procedencia disponible para un revisor que no realice también una comprobación de vigencia devolverá un resultado limpio. La única manera de detectarlo es saber ya, o averiguar, si algo le ocurrió a esa autoridad después, que es precisamente la pieza de información que no reside dentro del propio documento citado. Por eso el instinto de un abogado experimentado de echar mano de un citator no es costumbre; es el reconocimiento de que la procedencia y la vigencia son preguntas distintas que requieren herramientas distintas, y de que la primera herramienta no puede responder a la segunda pregunta por más cuidado con que se aplique.

La cosa empeora bajo composición. El razonamiento jurídico rara vez es una única afirmación; es una cadena, en la que una evaluación de riesgos o una recomendación de redacción se apoya en tres o cuatro premisas, cada una citando su propia autoridad. Si una premisa de la cadena es obsoleta, limpia en procedencia pero muerta en vigencia, el defecto no se queda local. Toda inferencia posterior construida sobre esa premisa hereda el error en silencio, porque cada paso inferencial individual, examinado por sí solo, parece localmente sólido. La cadena vale lo que su eslabón más débil, y un fallo de vigencia es un eslabón débil que no da señal visible de debilidad en ningún punto del producto final. Un revisor que lea el memorándum final, comprobando que cada cita es real y dice lo que se afirma que dice, no encontrará nada mal, porque nada en la procedencia está mal. El defecto reside enteramente en la capa que la revisión nunca tocó.

Qué debería significar realmente "fundamentado"

Si la procedencia y la vigencia son propiedades genuinamente separadas, la pretensión de un sistema de estar fundamentado debería descomponerse en al menos tres afirmaciones comprobables, no una: esta fuente existe, en este identificador, resoluble con independencia de la palabra del modelo. El texto de esta fuente respalda esta afirmación específica, al nivel del pasaje citado, no del tema general. Y esta fuente era derecho vigente en la fecha relevante, verificada contra un registro estructurado de todo lo que le ha ocurrido desde que se redactó, no inferida de la ausencia de señal contraria en el propio pasaje.

La mayor parte de lo que el mercado llama hoy sistema de IA legal fundamentado satisface las dos primeras y guarda silencio sobre la tercera, no porque la tercera sea poco importante, sino porque exige infraestructura que todavía no existe para la mayoría de los sistemas jurídicos del mundo: grafos de legislación versionada con consulta a fecha y grafos de citador mantenidos automática o semiautomáticamente, que abarquen jurisdicciones a una escala que ningún servicio propietario ha intentado jamás. Construir esa infraestructura es un proyecto categóricamente distinto de construir un mejor recuperador o un mejor formateador de citas. Exige tratar la validez jurídica como un hecho de primera clase, temporal y estructurado en grafo, rastreado de forma continua a medida que el derecho cambia, en lugar de como una propiedad que pueda leerse en el propio texto de la ley.

Hasta que eso exista, todo sistema de IA legal fundamentado está formulando una afirmación que en realidad no puede verificar. Puede decirle de dónde vino una respuesta. Todavía no puede decirle, con la misma confianza, si de donde vino sigue siendo donde el derecho vive.