La asimetría de la confianza: por qué perdonamos el error humano y tememos el de la máquina

Un juez tiene una mala tarde. Cansado, distraído, con un sesgo inconsciente que negaría si se le preguntara, lee un expediente con algo menos de atención que el anterior. La resolución es errónea, o al menos peor de lo que debería haber sido. Nadie escribe sobre ello. No hay titular, ni requerimiento regulatorio, ni debate público sobre si los jueces, como categoría, merecen la confianza que se les da.

Un sistema de IA que asiste a ese mismo tribunal produce una cita alucinada una vez. Se convierte en noticia. A veces se convierte en un artículo doctrinal. A veces se convierte en el motivo por el que se suspende un programa piloto entero.

El instinto es calificarlo de injusto, y conviene tomarse ese instinto en serio en lugar de descartarlo. Pero la respuesta honesta no es que estemos siendo irracionales con la IA. Es que dos modos de fallo que de lejos se parecen no tienen en absoluto la misma forma.

La parte que sí es sesgo

Parte de la asimetría es sencillamente la manera en que las personas procesan el riesgo, y se estudia desde finales de los años setenta. El paradigma psicométrico, planteado por Fischhoff, Slovic, Lichtenstein y sus colegas en 1978 y resumido en la revisión de Slovic de 1987 en Science, halló que los juicios profanos sobre el riesgo siguen dos dimensiones y no el número esperado de víctimas. Slovic las denominó "dread risk" (riesgo temido), definido por la percepción de falta de control, el pavor, el potencial catastrófico, las consecuencias mortales y un reparto inequitativo de riesgos y beneficios, y "unknown risk" (riesgo desconocido), definido por peligros que se juzgan inobservables, desconocidos, nuevos y de daño diferido. El riesgo temido es la dominante de las dos. El hallazgo no es que la gente no sepa contar: preguntados directamente, los legos estiman la mortalidad anual más o menos como lo hacen los expertos. Esas estimaciones sencillamente no son el material del que está hecha su percepción del riesgo.Fuentes: Slovic, Perception of Risk, Science 1987 · Fischhoff et al., 1978

Por pasajero-milla, conducir es unas cien veces más letal que la aviación comercial regular: 7,28 frente a 0,07 muertes por cada mil millones de pasajero-milla en las cifras de Estados Unidos de Ian Savage. Alrededor de 39.000 estadounidenses mueren en carretera cada año. La brecha se estrecha mucho con otros denominadores, y medidos por trayecto en lugar de por milla ambos modos quedan bastante más cerca, algo que conviene decir porque la elección del denominador está haciendo gran parte del trabajo. Y aun así, un solo accidente de avión atrae una atención investigadora y regulatoria que ningún recuento equivalente de muertes en carretera consigue.Fuentes: Savage, fatality risks across United States transportation modes

Una cita alucinada aterriza en las dos dimensiones a la vez. Es nueva y mal comprendida, lo que la sitúa en el riesgo desconocido. Llega a través de un sistema que eligió otra persona y se concentra en un episodio único y nombrable en lugar de en un patrón difuso repartido a lo largo de una carrera, lo que la sitúa en el riesgo temido. Juzgada solo por esa psicología, la reacción es previsible y en realidad no va sobre la IA. Le ocurriría a cualquier riesgo nuevo, opaco y encontrado de forma involuntaria.

Eso es real, y explica una parte de lo que parece un doble rasero. No lo explica todo.

La parte que no es sesgo

Un juez sesgado o agotado produce un error idiosincrásico. Ocurre en este asunto, esta tarde, moldeado por el mal día concreto de una persona concreta. Está acotado. No se repite automáticamente en el asunto siguiente. A lo largo de una carrera esos errores se dispersan, unos en una dirección y otros en la contraria, y el sistema absorbe el ruido de forma imperfecta mediante la apelación, mediante el precedente, mediante el lento desgaste de la reputación profesional.

Un modelo con el mismo defecto de fondo no se dispersa. Se repite. La misma lectura errónea del mismo tipo de cláusula, el mismo punto ciego en la misma categoría de pregunta, se dispara de forma idéntica cada vez que el patrón reaparece, en todos los asuntos que el sistema toca, de manera simultánea, hasta que alguien lo advierte. El fallo no es una mala tarde. Son todas las tardes a la vez, en silencio, durante todo el tiempo que se tarde en detectarlo.

No se trata de afirmar cuál de los dos es más preciso. En muchas métricas la máquina es mejor en promedio que el juez cansado. Se trata de una diferencia en la forma que adopta el error cuando se produce, y esa forma no se ve mirando ninguna instancia aislada.

Nada de esto es una observación nuestra. La ingeniería de fiabilidad lleva décadas llamándolo "common-cause failure" (fallo de causa común): fallos dependientes que derrotan a la propia redundancia introducida para mejorar la fiabilidad, y a los que se atribuye una parte considerable de la indisponibilidad de los sistemas de seguridad en centrales nucleares. Kleinberg y Raghavan formalizaron la versión algorítmica en 2021, mostrando que quienes deciden convergiendo en un único algoritmo compartido pueden colectivamente hacerlo peor que quienes deciden con procesos idiosincrásicos e individualmente menos precisos, sin que haga falta ninguna perturbación externa para producir ese resultado. Bommasani y sus colegas mostraron el corolario un año después: cuando los sistemas comparten componentes, a las mismas personas se les rechaza en todas partes.Fuentes: Kleinberg & Raghavan, Algorithmic monoculture and social welfare, PNAS 2021 · Bommasani et al., outcome homogenization, 2022

Conviene poner un límite a ese argumento, porque importa a cualquiera que tenga un expediente entre manos. El error no correlacionado se compensa a lo largo de muchas decisiones independientes. No se compensa para la persona a la que le toca, y ninguna cantidad de dispersión agregada ayuda al cliente cuyo asunto fue la mala tarde. La distinción va sobre lo que el sistema en su conjunto puede absorber, no sobre lo que puede absorber un asunto concreto.

La preocupación no es hipotética, aunque sea más fácil de describir que de cuantificar. La fabricación de citas en litigio está hoy documentada de forma abierta: una base de datos pública de resoluciones judiciales que la identifica registraba más de 1.600 casos a mediados de 2026, de los cuales alrededor de 650 implicaban a abogados y no a litigantes que actúan por su cuenta, y su compilador es explícito en que ese recuento es un suelo y está sesgado hacia jurisdicciones cuyos escritos son fáciles de consultar. El análogo a escala de cartera, un sistema de cumplimiento que pasa por alto la misma categoría de infracción en toda una cartera de clientes porque el defecto está aguas arriba, en un paso de recuperación o de clasificación sin responsable asignado, no tiene ningún estudio de caso publicado que conozcamos. Esa ausencia es precisamente el punto. Un modo de fallo sin responsable es también un modo de fallo que nadie está en posición de reportar.Fuentes: AI Hallucination Cases database

El aparato que dejamos de ver

Hay una segunda razón por la que la comparación resulta injusta, y nada tiene que ver con la psicología. No llegamos a nuestra tolerancia con el error humano decidiendo ser indulgentes. Se construyó una enorme infraestructura para detectarlo, corregirlo y ponerle precio, durante siglos, hasta que esa infraestructura se volvió invisible de puro familiar.

La revisión en apelación existe porque los jueces de instancia se equivocan. El seguro de responsabilidad civil profesional existe porque los profesionales cometen errores que causan daños reales. Los colegios profesionales, la revisión por pares, los registros disciplinarios de acceso público, todo el aparato de la responsabilidad profesional, se levantó precisamente porque el juicio humano es falible y alguien decidió que esa falibilidad necesitaba un sistema y no una disculpa.

Nada de eso se lee ya como escrutinio. Se lee como fondo de escena. Es lo bastante antiguo, y está lo bastante repartido entre instituciones en las que ya se confía, como para que nadie lo viva como una vigilancia sobre nadie. Sigue ahí, sigue haciendo su trabajo, cada vez que se recurre un asunto o se revisa una licencia.

Los sistemas de IA todavía no tienen ese aparato. Lo que parece una exigencia irrazonable de perfección es, por debajo, una exigencia del mismo tipo de infraestructura que las instituciones humanas ya poseen: un registro de qué ocurrió y por qué, una vía para trazar un mal resultado hasta su causa, una parte identificada que responda por él y un mecanismo de corrección que no dependa de que alguien se dé cuenta por casualidad. La exigencia no es que la IA no se equivoque nunca. Es que se equivoque dentro de un sistema construido para detectarlo, que es en silencio lo que se pide a todo profesional humano cuyo trabajo tiene consecuencias.

Adónde lleva esto en realidad

El estándar no desaparecerá una vez exista esa infraestructura. Dejará de sentirse como un estándar, igual que la revisión en apelación dejó de sentirse como una acusación contra los jueces. El escrutinio al que hoy se enfrentan los sistemas de IA no es prueba de que el listón sea injusto. Es prueba de que la rendición de cuentas se sigue construyendo en público, hueco a hueco, justo en el terreno donde la infraestructura humana equivalente ha tenido unos cuantos siglos para fundirse con el mobiliario.

La pregunta que merece la pena hacerse no es si algún día se perdonará a la IA como se perdona a un juez cansado. Es si el rastro de auditoría que deja puede hacer, desde el primer día, lo que siglos de apelaciones y de colegios profesionales acabaron aprendiendo a hacer con el juicio humano: convertir un fallo individual en un fallo trazable, y un fallo trazable en uno corregible, antes de que se repita en silencio por todo lo que el sistema toque a continuación.