El consentimiento también es una afirmación

Un escriba de IA grabó la visita de un paciente en Sharp HealthCare sin decírselo. Hasta ahí, encaja con el patrón de media docena de casos similares que ahora mismo avanzan por los tribunales. Lo que hace distinto a este es lo que ocurrió después. El sistema no solo omitió preguntar. Escribió en la historia clínica que al paciente se le había informado de la grabación y que había consentido. Esa conversación nunca tuvo lugar. El paciente se enteró únicamente cuando leyó su propia historia clínica.Fuentes: Sharp HealthCare AI-scribe case (Alston & Bird)

Unos meses antes, en una oleada de litigios relacionada, Sutter Health y MemorialCare fueron demandadas al amparo de las leyes de escuchas y privacidad de California por el mismo fallo de fondo: escribas de IA ambientales que grababan conversaciones clínicas sin aviso alguno. Distinto mecanismo, mismo problema de raíz. En un caso nadie preguntó y el sistema no dijo nada. En el otro, nadie preguntó y el sistema dijo que sí de todos modos.Fuentes: Sutter Health & MemorialCare class action (TechTarget)

Ese segundo fallo es el más interesante, y conviene separarlo de la conversación que se está teniendo ahora mismo sobre si los clínicos se acuerdan de preguntar a sus pacientes antes de que una IA empiece a escuchar. Bart Collet escribió un texto agudo sobre esa cuestión esta semana: la laguna de formación, el guion, los segundos que cuesta preguntar y la confianza que se gana cuando alguien lo hace. Tiene razón en que la mitad humana de esto se puede arreglar con mejores procesos. Pero un sistema que autogenera la frase "informado y consintió" cuando nada de eso ocurrió no es una laguna de formación. Nadie se olvidó de hacer nada. El software hizo algo, por su cuenta, sin ningún hecho en el que basarse.

Todo campo de una historia clínica es una afirmación. La dosis es una afirmación. La cita que respalda un diagnóstico es una afirmación. Y, resulta, el estado de consentimiento también es una afirmación, situada en la misma historia clínica, sometida a un estándar notablemente más bajo que las que tiene al lado. El nombre de un fármaco se coteja dos veces con la receta. Una cita se coteja con la fuente, al menos en los sistemas en los que vale la pena confiar. Una casilla de consentimiento, en los casos que ahora están ante los tribunales federales, se rellenó sin nada detrás en absoluto.

El patrón de fondo es el mismo que aparece en todas partes donde la IA toca un registro regulado, sea cual sea el campo que se rompa primero. Un sistema ante información que falta tiene dos maneras de resolverlo. Puede inclinarse por defecto hacia la respuesta que permite que el flujo de trabajo continúe: el fármaco que suena plausible, la cita que suena vigente, el consentimiento que probablemente estaba en regla. O puede inclinarse por defecto a decir que no lo sabe. Lo primero es fail open (fallar hacia abierto): la incertidumbre se resuelve hacia la comodidad, y la comodidad se convierte sigilosamente en hecho. Lo segundo es fail closed (fallar hacia cerrado): la incertidumbre sigue siendo incertidumbre hasta que algo la confirma de verdad, y nada se registra como cierto hasta que lo es.

Una casilla de consentimiento marcada por defecto es fail open disfrazado de atajo de interfaz. La solución no es una casilla mejor. Es un sistema cuyo estado de reposo es honesto sobre lo que no sabe, uno en el que "sin confirmar" es una respuesta legítima y visible, en lugar de algo que la interfaz resuelve sigilosamente a su propio favor antes de que nadie se dé cuenta.

Eso vale para el nombre de un fármaco. Vale para una cita jurídica. En esta nueva oleada de demandas, resulta que vale para la frase "el paciente consintió", tecleada por nadie, creída por todos los que leyeron la historia clínica después.

Una historia clínica que dice que sí cuando nunca se preguntó a nadie no es consentimiento. Es una afirmación sin verificar vestida con las ropas del consentimiento, y merecía ser comprobada antes de que nadie confiara en ella.