L'asymétrie de la confiance : pourquoi nous pardonnons l'erreur humaine et redoutons celle de la machine

Un juge passe un mauvais après-midi. Fatigué, distrait, porteur d'un biais inconscient qu'il nierait si on le lui demandait, il lit un dossier avec un peu moins d'attention que le précédent. La décision est erronée, ou du moins moins bonne qu'elle n'aurait dû l'être. Personne n'en écrit un mot. Pas de titre dans la presse, pas d'enquête réglementaire, pas de débat public sur la question de savoir si les juges, en tant que catégorie, méritent qu'on leur confie ce travail.

Un système d'IA qui assiste cette même juridiction produit une fois une citation hallucinée. Cela devient une affaire. Parfois cela devient un article de doctrine. Parfois cela devient la raison pour laquelle un programme pilote entier est suspendu.

L'instinct est de qualifier cela d'injuste, et il vaut la peine de prendre cet instinct au sérieux plutôt que de l'écarter. Mais la réponse honnête n'est pas que nous serions irrationnels à l'égard de l'IA. C'est que deux modes de défaillance qui se ressemblent de loin n'ont pas du tout la même forme.

Ce qui relève bien du biais

Une partie de l'asymétrie tient simplement à la façon dont les gens traitent le risque, et elle est étudiée depuis la fin des années 1970. Le paradigme psychométrique, exposé par Fischhoff, Slovic, Lichtenstein et leurs collègues en 1978 et synthétisé dans la revue publiée par Slovic en 1987 dans Science, a montré que les jugements profanes sur le risque suivent deux dimensions plutôt que le nombre attendu de décès. Slovic les a nommées "dread risk" (risque redouté), défini par l'absence perçue de contrôle, l'effroi, le potentiel catastrophique, les conséquences fatales et une répartition inéquitable des risques et des bénéfices, et "unknown risk" (risque inconnu), défini par des dangers jugés inobservables, méconnus, nouveaux et à effet différé. La première des deux domine. Le constat n'est pas que les gens seraient incapables de compter : interrogés directement, les profanes estiment les mortalités annuelles à peu près comme le font les experts. Ces estimations ne sont simplement pas ce dont leur perception du risque est faite.Sources : Slovic, Perception of Risk, Science 1987 · Fischhoff et al., 1978

Rapportée au passager-mille, la conduite automobile est environ cent fois plus meurtrière que l'aviation commerciale régulière : 7,28 contre 0,07 décès par milliard de passager-milles dans les chiffres américains d'Ian Savage. Environ 39 000 Américains meurent chaque année sur les routes. L'écart se resserre nettement avec d'autres dénominateurs, et mesurés par trajet plutôt que par mille, les deux modes sont bien plus proches, ce qu'il faut dire car le choix du dénominateur pèse lourd. Pourtant, un seul accident d'avion de ligne attire une attention d'enquête et de régulation qu'aucun décompte équivalent de morts sur la route ne suscite.Sources : Savage, fatality risks across United States transportation modes

Une citation hallucinée se place sur les deux dimensions à la fois. Elle est nouvelle et mal comprise : risque inconnu. Elle arrive par un système choisi par quelqu'un d'autre, et elle se concentre en un événement unique et nommable plutôt qu'en un motif diffus étalé sur une carrière : risque redouté. Jugée à l'aune de cette seule psychologie, la réaction est prévisible et ne porte pas vraiment sur l'IA. Elle vaudrait pour tout risque nouveau, opaque et subi.

C'est réel, et cela explique une partie de ce qui ressemble à un deux poids, deux mesures. Cela ne l'explique pas entièrement.

Ce qui ne relève pas du biais

Un juge biaisé ou épuisé produit une erreur idiosyncrasique. Elle survient dans cette affaire-là, cet après-midi-là, façonnée par la mauvaise journée précise de cette personne précise. Elle est bornée. Elle ne se reproduit pas automatiquement dans l'affaire suivante. Sur une carrière, ces erreurs se dispersent, certaines dans un sens, certaines dans l'autre, et le système absorbe imparfaitement ce bruit par l'appel, par le précédent, par l'érosion lente de la réputation professionnelle.

Un modèle porteur du même défaut sous-jacent ne se disperse pas. Il se répète. La même lecture erronée du même type de clause, le même angle mort sur la même catégorie de question, se déclenche à l'identique chaque fois que le motif réapparaît, dans chaque dossier que le système touche, simultanément, jusqu'à ce que quelqu'un s'en aperçoive. La défaillance n'est pas un mauvais après-midi. C'est chaque après-midi à la fois, silencieusement, aussi longtemps qu'il faut pour la détecter.

Ce n'est pas une affirmation sur la plus grande exactitude de l'un ou de l'autre. Sur bien des mesures, la machine fait mieux en moyenne que le juge fatigué. C'est une différence dans la forme que prend l'erreur lorsqu'elle survient, et cette forme reste invisible tant qu'on n'observe qu'un cas isolé.

Rien de tout cela ne vient de nous. L'ingénierie de la fiabilité parle depuis des décennies de "common-cause failure" (défaillance de cause commune) : des défaillances dépendantes qui mettent en échec la redondance même introduite pour améliorer la fiabilité, et auxquelles on attribue une part importante de l'indisponibilité des systèmes de sûreté dans les centrales nucléaires. Kleinberg et Raghavan en ont formalisé la version algorithmique en 2021, montrant que des décideurs convergeant vers un algorithme unique et partagé peuvent collectivement faire moins bien que des décideurs recourant à des procédés idiosyncrasiques et individuellement moins exacts, sans qu'aucun choc externe soit nécessaire pour produire ce résultat. Bommasani et ses collègues en ont montré le corollaire un an plus tard : lorsque les systèmes partagent des composants, ce sont les mêmes personnes qui se voient refusées partout.Sources : Kleinberg & Raghavan, Algorithmic monoculture and social welfare, PNAS 2021 · Bommasani et al., outcome homogenization, 2022

Une limite à cet argument, car elle compte pour quiconque tient un dossier unique. L'erreur non corrélée se compense en moyenne sur un grand nombre de décisions indépendantes. Elle ne se compense pas pour celui sur qui elle tombe, et aucune dispersion agrégée n'aide le client dont l'affaire fut ce mauvais après-midi. La distinction porte sur ce que le système dans son ensemble peut absorber, non sur ce qu'un dossier isolé peut supporter.

L'inquiétude n'est pas hypothétique, même si elle est plus facile à décrire qu'à chiffrer. La fabrication de citations dans le contentieux est désormais documentée publiquement : une base de données publique de décisions de justice qui la recense comptait plus de 1 600 affaires à la mi-2026, dont environ 650 impliquaient des avocats plutôt que des justiciables sans avocat, et son auteur précise explicitement que ce décompte est un plancher, biaisé vers les juridictions dont les écritures sont faciles à interroger. L'équivalent au niveau du portefeuille, un système de conformité qui manque la même catégorie de manquement sur tout un portefeuille de clients parce que le défaut se situe en amont, dans une étape de recherche documentaire ou de classification sans responsable désigné, ne fait l'objet d'aucune étude de cas publiée à notre connaissance. Cette absence est précisément le point. Un mode de défaillance sans responsable est aussi un mode de défaillance que personne n'est en position de signaler.Sources : AI Hallucination Cases database

L'appareil que nous avons cessé de voir

Il existe une seconde raison pour laquelle la comparaison paraît injuste, et elle n'a rien à voir avec la psychologie. Nous ne sommes pas parvenus à notre tolérance envers l'erreur humaine en décidant d'être indulgents. Une infrastructure considérable a été bâtie pour la détecter, la corriger et en fixer le prix, au fil des siècles, jusqu'à devenir invisible à force de familiarité.

Le contrôle en appel existe parce que les juges du fond se trompent. L'assurance responsabilité civile professionnelle existe parce que les professionnels commettent des erreurs qui causent des préjudices réels. Les ordres professionnels, l'évaluation par les pairs, la publication des sanctions disciplinaires, tout l'appareil de la responsabilité professionnelle : tout cela a été construit précisément parce que le jugement humain est faillible et que quelqu'un a décidé que cette faillibilité appelait un système plutôt qu'une excuse.

Rien de cela ne se lit plus comme une surveillance. Cela se lit comme un arrière-plan. C'est assez ancien, et assez largement réparti entre des institutions déjà tenues pour fiables, pour que personne n'ait le sentiment que quiconque est observé. C'est toujours là, toujours à l'œuvre, chaque fois qu'une décision est frappée d'appel ou qu'une autorisation d'exercer est réexaminée.

Les systèmes d'IA ne disposent pas encore de cet appareil. Ce qui ressemble à une exigence déraisonnable de perfection est, au fond, une exigence de la même infrastructure que celle dont disposent déjà les institutions humaines : une trace de ce qui s'est passé et pourquoi, un moyen de remonter d'un mauvais résultat à sa cause, une partie identifiée qui en répond, et un mécanisme de correction qui ne dépende pas du hasard d'un constat. On ne demande pas à l'IA de ne jamais se tromper. On lui demande de se tromper à l'intérieur d'un système conçu pour l'intercepter, ce qui est discrètement ce que l'on demande à tout professionnel dont le travail emporte des conséquences.

Où cela mène réellement

L'exigence ne disparaîtra pas une fois cette infrastructure en place. Elle cessera d'être ressentie comme une exigence, de la même façon que le contrôle en appel a cessé d'être ressenti comme une accusation contre les juges. La surveillance que subissent aujourd'hui les systèmes d'IA ne prouve pas que la barre soit injuste. Elle prouve que la reddition de comptes se construit encore en public, une lacune après l'autre, exactement là où l'infrastructure humaine équivalente a eu quelques siècles pour se fondre dans le décor.

La question qui mérite d'être posée n'est pas de savoir si l'IA sera un jour pardonnée comme l'est un juge fatigué. C'est de savoir si la trace qu'elle laisse peut faire, dès le premier jour, ce que des siècles d'appels et d'ordres professionnels ont fini par apprendre à faire pour le jugement humain : transformer une défaillance individuelle en défaillance traçable, et une défaillance traçable en défaillance corrigible, avant qu'elle ne se répète silencieusement dans tout ce que le système touchera ensuite.