Le consentement est aussi une affirmation

Un scribe IA a enregistré la visite d'un patient chez Sharp HealthCare sans l'en informer. Jusque-là, le cas correspond au schéma d'une demi-douzaine d'affaires similaires actuellement devant les tribunaux. Ce qui distingue celle-ci, c'est ce qui s'est passé ensuite. Le système ne s'est pas contenté de ne pas demander. Il a inscrit dans le dossier médical que le patient avait été informé de l'enregistrement et y avait consenti. Cette conversation n'a jamais eu lieu. Le patient ne l'a découvert qu'en lisant son propre dossier médical.Sources : Sharp HealthCare AI-scribe case (Alston & Bird)

Quelques mois plus tôt, dans une vague de contentieux connexe, Sutter Health et MemorialCare ont été poursuivis en vertu des lois sur les écoutes et la vie privée de l'État de California pour la même défaillance de fond : des scribes IA ambiants enregistrant des conversations cliniques sans qu'aucun avis ne soit donné. Mécanisme différent, même problème de fond. Dans un cas, personne n'a demandé et le système n'a rien dit. Dans l'autre, personne n'a demandé et le système a tout de même dit oui.Sources : Sutter Health & MemorialCare class action (TechTarget)

Cette seconde défaillance est la plus intéressante, et il vaut la peine de la distinguer du débat qui a lieu en ce moment sur la question de savoir si les cliniciens pensent à demander l'accord de leurs patients avant qu'une IA ne commence à écouter. Bart Collet a signé cette semaine un texte incisif sur cette question : le déficit de formation, le script, les quelques secondes que coûte la demande et la confiance qu'elle instaure lorsque quelqu'un la formule. Il a raison de dire que la moitié humaine du problème peut se corriger par de meilleurs processus. Mais un système qui génère automatiquement la phrase "informé et a consenti" alors que rien de tel ne s'est produit n'est pas un déficit de formation. Personne n'a oublié de faire quoi que ce soit. Le logiciel a agi, de lui-même, en l'absence de tout fait sur lequel se fonder.

Chaque champ d'un dossier médical est une affirmation. La posologie est une affirmation. La citation qui étaye un diagnostic est une affirmation. Et il s'avère que le statut de consentement est lui aussi une affirmation, logée dans le même dossier, soumise à une exigence nettement plus faible que celles qui l'entourent. Un nom de médicament est contrôlé une seconde fois par rapport à l'ordonnance. Une citation est vérifiée par rapport à la source, du moins dans les systèmes dignes de confiance. Une case à cocher de consentement, dans les affaires aujourd'hui portées devant les tribunaux fédéraux, a été renseignée sans que rien ne la justifie.

Le schéma sous-jacent est le même que celui qui apparaît partout où l'IA touche à un dossier réglementé, quel que soit le champ qui cède en premier. Un système confronté à une information manquante dispose de deux façons de trancher. Il peut opter par défaut pour la réponse qui permet au flux de travail de se poursuivre : le médicament qui semble plausible, la citation qui semble à jour, le consentement qui était probablement acquis. Ou il peut opter par défaut pour l'aveu qu'il ne sait pas. La première option est le fail open (défaillance ouverte) : l'incertitude se résout du côté de la commodité, et la commodité devient discrètement un fait. La seconde est le fail closed (défaillance fermée) : l'incertitude demeure incertitude tant que quelque chose ne la confirme pas réellement, et rien n'est consigné comme vrai tant que ce n'est pas le cas.

Une case à cocher qui affiche consenti par défaut est un fail open déguisé en raccourci d'interface. La solution n'est pas une meilleure case à cocher. C'est un système dont l'état de repos est honnête quant à ce qu'il ignore, un système où non confirmé est une réponse légitime et visible, plutôt qu'une valeur que l'interface tranche discrètement en sa propre faveur avant que quiconque ne s'en aperçoive.

Cela vaut pour un nom de médicament. Cela vaut pour une citation juridique. Dans cette nouvelle vague de poursuites, il s'avère que cela vaut aussi pour la phrase "le patient a consenti", saisie par personne, tenue pour vraie par tous ceux qui ont lu le dossier médical par la suite.

Un dossier qui dit oui alors que personne n'a jamais été sollicité n'est pas un consentement. C'est une affirmation non vérifiée revêtue des habits du consentement, et elle méritait d'être contrôlée avant que quiconque ne s'y fie.