El cuello de botella epistémico: por qué la IA da a los ingenieros 10X y a los abogados 3X

Se está formando discretamente un consenso entre los abogados que han adoptado la IA en serio, no los que escriben tribunas de opinión sobre ella, sino los que realmente ejecutan flujos de trabajo agénticos en asuntos reales. La ganancia de productividad es real. Se sitúa en torno a 3X. Y se resiste obstinadamente a convertirse en el 10X que la ingeniería de software experimenta actualmente.

La comparación merece tomarse en serio porque ambos números proceden de los mismos modelos subyacentes. Un ingeniero y un abogado que usan el mismo modelo de frontera, con una destreza comparable en prompting y en diseño de flujos de trabajo, terminan separados por un orden de magnitud. Conviene tomar ambas cifras como arquetipos más que como mediciones precisas; el argumento que sigue solo requiere la brecha entre ellas, no los valores exactos. Sea lo que sea lo que explica esa brecha, no es la capacidad del modelo.

La mayoría de los ingenieros que operan configuraciones agénticas serias ya no leen su código línea a línea. Ejecutan largos bucles autónomos con flotas de agentes, revisan al nivel del comportamiento y de la arquitectura, y dejan que la infraestructura de pruebas detecte lo que ellos no ven. Entretanto, un abogado que usa la IA con el máximo nivel de sofisticación sigue leyendo cada línea del asesoramiento que sale con su nombre.

La pregunta interesante es por qué, y las respuestas habituales se equivocan de un modo instructivo.

Las explicaciones habituales, y por qué son secundarias

La explicación que más se oye es la responsabilidad. Es el nombre del abogado el que figura en el asesoramiento. Cuando algo sale mal, el cliente llama a una persona, no a un chatbot. Las normas deontológicas imponen deberes de supervisión sobre el producto del trabajo. El seguro de responsabilidad civil profesional pone precio al riesgo. Los tribunales han hecho escarmiento de abogados que presentaron citas fabricadas por IA, empezando por Mata v. Avianca en 2023 y siguiendo con un corpus de resoluciones sancionadoras ya lo bastante amplio como para que existan bases de datos públicas que lo rastrean.Fuentes: Mata v. Avianca (S.D.N.Y. 2023) · AI Hallucination Cases database

Todo esto es cierto. Nada de ello es la restricción determinante.

He aquí la prueba: si la responsabilidad fuera el límite fundamental, cabría esperar que la brecha se cerrara a medida que las normas profesionales se adaptan, las aseguradoras desarrollan productos específicos para la IA y los tribunales y los reguladores construyen marcos para la revisión delegada. Con cinco años de ajuste institucional, el 3X se convertiría en 8X.

No es eso lo que va a ocurrir, porque la responsabilidad es la respuesta del sistema jurídico a una propiedad más profunda del trabajo, no la propiedad misma. Los ingenieros también responden por lo que ponen en producción. El software de aviación, los dispositivos médicos y la infraestructura de pagos acarrean una responsabilidad al menos tan severa como la de un contrato mal redactado. Y sin embargo, en esos ámbitos la verificación sigue ejecutándose a velocidad de máquina. La diferencia no está en lo que hay en juego. Está en la estructura de costes de la comprobación.

La asimetría de la verificación

La ingeniería de software se ganó su 10X gracias a un hecho tan básico que es fácil pasarlo por alto: el artefacto se ejecuta. La verdad de referencia de un fragmento de código es la propia máquina. Un compilador rechaza los errores de tipos en milisegundos. Una suite de tests codifica la especificación de comportamiento y la ejecuta en cada commit. Los analizadores estáticos, los fuzzers y los tests basados en propiedades exploran un espacio de entradas que a ningún humano se le ocurriría probar. Cincuenta años de inversión sostenida han llevado el coste de verificar código hacia cero y, lo que es crucial, lo han hecho más barato que el de generarlo.

Por eso el bucle agéntico se cierra en la ingeniería. El agente escribe código, ejecuta el verificador, lee el fallo y corrige, miles de veces, sin supervisión. La señal de recompensa es comprobable por máquina. El agente puede ejecutar su propio examinador.

Obsérvese ahora lo que exige verificar una sola afirmación jurídica. Tómese una frase tan corriente como "según el Derecho español, el plazo de prescripción de esta acción contractual es de cinco años". Para dar el visto bueno a esa frase, el revisor debe establecer cinco propiedades independientes:

Existencia: la fuente citada (el artículo 1964.2 del Código Civil, en este caso) existe realmente.

Fidelidad: dice lo que se afirma, al nivel del pasaje concreto, no al nivel del tema general.

Vigencia: sigue siendo derecho vigente. Ni derogada, ni modificada desde la versión que vio el modelo, ni desplazada por legislación especial, ni reinterpretada por jurisprudencia vinculante. Este artículo en concreto fue modificado en 2015, que es exactamente el tipo de dato en el que un modelo entrenado con décadas de textos jurídicos se equivoca en silencio.Fuentes: Ley 42/2015 (BOE)

Autoridad: la fuente es vinculante en esta jurisdicción, en este nivel de la jerarquía, para este tipo de cuestión. Una sentencia de una Audiencia Provincial no es el Tribunal Supremo. Una decisión de sala no es un pronunciamiento en banc. La ratio no es el obiter.

Aplicabilidad: rige estos hechos, este tipo de contrato, este régimen temporal conforme a las disposiciones transitorias.

Cada una de estas comprobaciones es una consulta contra la verdad de referencia. Pero, a diferencia de lo que ocurre en la ingeniería, esa verdad de referencia no es un artefacto ejecutable. Es un corpus distribuido, repartido entre cientos de boletines oficiales, registros judiciales y códigos consolidados, en decenas de idiomas, versionado a lo largo del tiempo, acotado por jurisdicción y, en su mayor parte, no comprobable por máquina. De modo que la consulta pasa por el único instrumento de verificación disponible: un humano colegiado, leyendo a velocidad humana.

Ese humano es la fracción serial del proceso. Y las fracciones seriales tienen su matemática.

La ley de Amdahl para el trabajo jurídico

En computación paralela, la ley de Amdahl acota la aceleración de cualquier sistema por la porción de este que no se puede acelerar. Si una fracción p del trabajo se acelera por un factor s, la aceleración total es 1 / ((1 − p) + p/s).

Aplíquese a un asunto jurídico. Supóngase que el 70 por ciento del tiempo de la tarea es generativo: reunir investigación, redactar borradores, resumir, dar formato, análisis de primera pasada. Supóngase que la IA acelera esa porción no 10X, sino infinitamente, hasta un tiempo cero. La aceleración global es 1 / 0.3, es decir, alrededor de 3.3X.

El techo observado de 3X no es un artefacto cultural. Es la ley de Amdahl con la verificación como fracción serial.

La aritmética también dice qué haría falta para alcanzar 10X: el remanente no acelerado debe reducirse por debajo del 10 por ciento del tiempo original de la tarea. Si hoy la verificación supone el 30 por ciento del trabajo, debe comprimirse por un factor de tres o más, en términos absolutos, mientras todo lo demás se automatiza. Ninguna mejora en el lado de la generación, por espectacular que sea, mueve este número. Puede hacerse instantánea la redacción. El techo se queda en 3.3X.

Esta es la parte del debate que los lanzamientos de modelos ocultan una y otra vez. Cada salto de capacidad comprime aún más el 70 por ciento, produce una oleada de anuncios y deja intacto el 30 por ciento. El cuello de botella no está donde va la inversión.

Por qué los modelos mejores no mueven el techo

Cuatro razones estructurales, cada una independiente de la calidad del modelo.

Primera, la calibración no se transfiere. La fluidez de un modelo no guarda correlación con la corrección jurídica de sus afirmaciones. Las citas alucinadas tienen un formato impecable, que es precisamente lo que las hace peligrosas. Un modelo más capaz produce menos errores, pero el abogado que revisa no puede ver qué afirmaciones son los errores, de modo que el esfuerzo de revisión por afirmación no cambia. No se revisa menos porque la tasa de error haya caído del 4 por ciento al 1 por ciento. Se revisa todo, porque el 1 por ciento de cien afirmaciones sigue siendo un escrito sancionable.

Segunda, la distribución de los errores derrota al muestreo. La comprobación por muestreo funciona cuando los errores se distribuyen aleatoriamente. Los errores de los modelos no son aleatorios. Se concentran exactamente en los lugares de apariencia plausible: la cita que encaja a la perfección con el argumento, la transcripción que dice lo que el pasaje debería haber dicho, el precedente que existiría en un sistema jurídico bien ordenado pero que no existe en este. Comprobar el 10 por ciento de unas afirmaciones moldeadas de forma adversarial para parecer correctas no detecta prácticamente nada. La revisión debe ser exhaustiva, que es la variante cara.

Tercera, la obsolescencia es estructural, no incidental. Una fecha de corte de entrenamiento garantiza que el modelo no puede conocer el cambio de doctrina del mes pasado ni la reforma legal de la semana pasada. La escala no resuelve la actualidad; un modelo con diez veces más parámetros es exactamente igual de ignorante acerca de lo sucedido ayer. La generación aumentada mediante recuperación desplaza el problema en lugar de resolverlo: la corrección pasa a depender de la completitud y la vigencia del corpus de recuperación, y de que la recuperación efectivamente saque a la luz el material vinculante, y esas son precisamente las propiedades que nadie está verificando.

Cuarta, la función de pérdida es asimétrica y recae sobre un humano con nombre y apellidos. Cuando el error de un agente de programación le cuesta al ingeniero un despliegue fallido y treinta minutos, tolerar resultados sin verificar es racional. Cuando el error es un precedente fabricado en un escrito procesal, el coste son sanciones, expedientes disciplinarios y una resolución con el nombre del abogado, publicada y permanente. Bajo una pérdida asimétrica, la revisión exhaustiva no es conservadurismo. Es la política correcta.

El problema de la omisión

Hay un modo de fallo peor que la fabricación, y recibe una fracción de la atención: la omisión.

Una cita fabricada es, al menos, comprobable. Está en la página, formula una afirmación y un revisor diligente puede rastrearla. Una autoridad vinculante omitida no deja rastro alguno en la página. El resultado es fluido, está citado, es internamente coherente y es erróneo, porque la sentencia que decide el asunto en contra de la posición defendida sencillamente nunca afloró.

Verificar una ausencia es categóricamente más difícil que verificar una presencia. Confirmar que ninguna autoridad vinculante contradice el análisis exige una búsqueda exhaustiva sobre un corpus completo, actualizado y acotado por jurisdicción. Ningún revisor humano hace esto en realidad. Los abogados experimentados lo mitigan con reconocimiento de patrones y con citadores (citators), pero la mitigación es probabilística, y se degrada exactamente cuando los asuntos entran en jurisdicciones poco conocidas o en áreas del Derecho que evolucionan deprisa.

Merece la pena enunciarlo con cuidado, porque invierte el encuadre habitual. La exhaustividad es lo único que las máquinas hacen mejor que los expertos, si y solo si el corpus y la capa de recuperación están diseñados para ello. La exhaustividad (recall) de un sistema de recuperación jurídica no es una métrica de recuperación de información que pueda sacrificarse a cambio de latencia. Es una propiedad de seguridad. Un sistema capaz de demostrar una cobertura exhaustiva de la autoridad vinculante hace algo que ninguna revisión humana puede hacer, en lugar de aproximarse a lo que la revisión humana ya hace.

Los errores se agravan en silencio

El cuello de botella empeora a medida que el trabajo jurídico se orienta más hacia el futuro. Evaluaciones de riesgo, estructuras de operaciones, estrategia regulatoria: es razonamiento construido sobre premisas retrospectivas acerca de lo que el Derecho es en este momento.

El estatus epistémico de una conclusión está acotado por su premisa más débil. Un único dato de entrada corrompido, un precedente alucinado, una disposición derogada tratada como vigente, una línea de autoridad contraria omitida, corrompe en silencio todos los juicios construidos encima. Y la corrupción es invisible en el resultado, porque cada inferencia posterior es localmente razonable. Cuando el razonamiento está tres pasos más allá de la premisa defectuosa, ninguna lectura del dictamen final sacará a la luz el defecto. El error no se anuncia. Se va agravando.

Por eso la "revisión humana del resultado de la IA" es una salvaguarda más débil de lo que parece. El humano revisa la conclusión, y la conclusión parece correcta. El defecto reside en la procedencia, y la procedencia es exactamente lo que los resultados actuales de la IA no llevan consigo.

Qué exige realmente comprimir la verificación

Si el techo lo fija el coste de la verificación, entonces el programa de ingeniería es explícito: hacer que cada una de las cinco comprobaciones sea ejecutable por máquina. En concreto, eso significa una infraestructura que la mayor parte de la industria de la IA jurídica no ha empezado a construir.

Identificadores resolubles. Cada afirmación jurídica en el resultado generado debería llevar un puntero resoluble por máquina hacia una fuente canónica, usando los sistemas de identificadores que ya existen: ECLI para la jurisprudencia europea, ELI para la legislación, Akoma Ntoso como modelo documental. La comprobación de existencia se convierte en una resolución determinista, no en una búsqueda humana.Fuentes: ECLI (Council conclusions, 2011) · ELI (EUR-Lex) · Akoma Ntoso

Anclaje a nivel de pasaje. La fidelidad debería verificarse contra el pasaje literal, no contra el documento en general. Una afirmación se corresponde con un fragmento exacto de la fuente; ese fragmento o bien contiene respaldo para la afirmación o bien no lo contiene. La similitud semántica no es respaldo. Un pasaje puede estar de lleno en el tema y contradecir la afirmación, y la distancia entre embeddings no dirá cuál de las dos cosas ocurre.

Grafos de vigencia temporal. La legislación debería representarse como un grafo versionado: cadenas de modificaciones, derogaciones, entradas en vigor, regímenes transitorios. La jurisprudencia necesita aristas de citación: seguida, distinguida, limitada, revocada. Entonces la comprobación de vigencia se convierte en un recorrido de grafo, una operación de milisegundos, en lugar de una tarea de investigación. Es la versión nativa de máquina de lo que Shepard's y KeyCite llevan haciendo más de un siglo en un puñado de jurisdicciones, generalizada a todas ellas.

Jerarquización de autoridades como datos. La jerarquía de fuentes, la norma constitucional por encima de la ley y la ley por encima del reglamento, y la jerarquía judicial de cada jurisdicción, codificadas de modo que un sistema pueda ordenar dos autoridades en conflicto en lugar de presentar ambas con idéntica confianza.

Implicación lógica (entailment) con zona de rechazo. Los modelos de inferencia de lenguaje natural pueden juzgar si un pasaje respalda una afirmación, con una confianza calibrada. El punto de diseño que importa es la zona gris: las afirmaciones donde la implicación es genuinamente incierta se derivan al humano. El abogado deja de revisar el 100 por ciento de las afirmaciones y pasa a pronunciarse sobre el 10 a 20 por ciento que es realmente discutible. Así es como se ve en la práctica la compresión de la fracción serial.

Verificación de la ausencia. Recuperación exhaustiva sobre corpus demostrablemente completos, con la autoridad contraria sacada a la luz de forma proactiva y no a petición. La cobertura se convierte en una propiedad medida y auditable del sistema.

Nada de esto es informática especulativa. Todos los componentes existen. Lo que no existe, en la mayor parte del mercado, es la disposición a gastar en ello, porque nada de esto luce en una demo tanto como un borrador fluido.

El compilador que el Derecho nunca construyó

Con suficiente perspectiva, el 10X de la ingeniería tiene una explicación sencilla: es el rendimiento de cincuenta años de inversión en infraestructura de verificación. Compiladores, sistemas de tipos, bancos de pruebas, integración continua, análisis estático. La generación se volvió rápida porque antes la comprobación se volvió barata. La revolución agéntica del software no creó esa base. La capitalizó.

La IA jurídica ha hecho la apuesta contraria. Casi toda la ola de inversión ha ido a la generación: fluidez de redacción, resúmenes, interfaces conversacionales sobre documentos. La generación ya era la parte barata. El resultado es exactamente lo que predice la ley de Amdahl: una aceleración espectacular del 70 por ciento, un 30 por ciento intacto y una meseta de 3X en todo el sector que se redescubre en cada informe serio de adopción.

El abogado 3X es real, y merece la pena serlo. Pero 3X es un techo, no una etapa intermedia. Una generación más fluida se aproxima a él asintóticamente y se detiene. El abogado 10X solo se vuelve posible cuando la verificación corre a velocidad de máquina, con existencia, fidelidad, vigencia, autoridad y aplicabilidad comprobadas de forma determinista, y con el juicio humano reservado para las cuestiones que genuinamente lo requieren.

Todos los sectores que se industrializaron pasaron por la misma migración: la restricción se desplazó de hacer las cosas a comprobarlas, y las empresas que ganaron la era siguiente fueron las que industrializaron la comprobación. El Derecho es el siguiente. El orden de magnitud pertenece a quien comprima la verificación.