Vérifié n'est pas synonyme de défendable

Un article que nous avons publié récemment soutenait que la « vérification » dans l'IA juridique remplit trois fonctions différentes à la fois : la divulgation (avez-vous signalé la sortie), le score de confiance (la certitude propre d'un modèle juge tient-elle la route) et la vérification de source (l'affirmation précise correspond-elle à un document réel précis). L'argument était que presque toute l'énergie du secteur se porte sur les deux premières, et presque aucune sur la troisième, parce que la troisième est la seule qui exige un véritable corpus de domaine plutôt qu'un juge généraliste.Sources : Everyone Is Verifying Legal AI (three layers)

La section des commentaires a fait ce qu'un article seul obtient rarement : elle a continué à débattre après que l'argument se soit tu, et elle a convergé vers une quatrième couche que l'article n'avait jamais nommée. Adel Kildeev l'a ouverte : la vérification ne met pas fin à la responsabilité, elle est une étape probatoire avant qu'un professionnel qualifié lise de manière indépendante les sources primaires et assume la décision. Marco Rossi l'a nommée en trois lettres, LITL, lawyer in the loop. Itamar Rosen a affiné la question davantage : un pilote devrait-il annoncer chaque enclenchement du pilote automatique aux passagers, ou le passager a-t-il en réalité besoin d'autre chose, d'un pilote formé et responsable et d'une boîte noire qui reconstitue ce qui s'est passé en cas de problème.

Puis Arkadiy Miteiko, répondant directement sous l'article, a condensé toute l'idée en une ligne : « l'exactitude computationnelle n'est pas la validité institutionnelle. » Le point qui la sous-tend est qu'une affirmation correctement sourcée peut tout de même échouer selon qui s'y appuie, en vertu de quelle autorité, pour quelle affaire, à quel moment, et que la confiance dans l'IA juridique tient moins à l'existence des citations qu'à la capacité de reconstituer et de justifier après coup chaque usage lourd de conséquences.

Ce n'est pas une reformulation de la vérification de source avec d'autres mots. C'est un quatrième axe, distinct, et il a un nom et un corpus de travaux derrière lui : Ignacio Adrian Lerer, avocat d'affaires et administrateur indépendant qui écrit précisément sur cette frontière entre la sortie d'un système et la capacité d'une institution à en répondre.

La frontière que Lerer ne cesse de tracer

Dans un article récent sur la réforme argentine en cours autour des systèmes décisionnels autonomes d'entreprise, dans le cadre du débat sur l'introduction d'une forme sociale autonome dans la Ley General de Sociedades, Lerer recadre toute la question. Il s'intéresse moins à la capacité d'un système à détenir la personnalité juridique qu'à un problème plus étroit et plus difficile : lorsqu'un système autonome fait quelque chose que personne n'a explicitement approuvé, de qui était la décision. Sa réponse sépare deux rôles que l'on traite comme un seul et qui ne devraient pas l'être. Celui qui a mis en place le système, choisi ses paramètres et défini ce qu'il était autorisé à faire répond d'un acte différent de celui qui, ou de ce qui, a agi de manière autonome à l'intérieur de ce dispositif. Traitez-les comme un même acteur et soit vous laissez la décision de configuration se cacher derrière la décision autonome, soit vous tenez quelqu'un pour responsable d'un comportement contre lequel personne n'aurait pu se prémunir par configuration à l'avance. Il ancre délibérément la proposition dans l'article 19 de la Constitution argentine : réguler ce qui advient lorsque le système cause un préjudice, non les étapes internes par lesquelles il a décidé quoi que ce soit. Contrôle des résultats, non contrôle du processus.Sources : Ignacio Adrián Lerer, on the SCBA AI framework (Abogados.com.ar) · Argentina's "sociedad automatizada" reform (Infobae)

Cette distinction, configurateur contre exécuteur, est le cadre le plus net dont on dispose pour ce que « défendable » signifie réellement. Une affirmation vérifiée vous indique que l'exécuteur a produit quelque chose qui correspond à une source réelle. Elle ne vous dit rien sur le fait que cet acte précis de recours se soit produit à l'intérieur de la limite que le configurateur avait effectivement autorisée, à ce moment, pour cette affaire, en vertu de ce mandat. Ce sont des questions différentes, et une seule d'entre elles trouve réponse en vérifiant la citation.

Là où cela devient concret : l'expert qui ne sait pas expliquer le raisonnement

L'autre article pertinent de Lerer, sur un cadre d'IA judiciaire que la Suprema Corte de la Provincia de Buenos Aires vient d'approuver, rend la même distinction concrète plutôt que théorique. Le règlement exige une supervision humaine « significative » du travail judiciaire assisté par IA sans jamais définir ce que cela signifie en pratique, un seuil ouvert logé à l'intérieur d'une règle contraignante. L'exemple qu'il donne tranche à lui seul l'ambiguïté : un expert désigné par le tribunal qui approuve un rapport rédigé par IA sans en suivre véritablement le raisonnement a un vrai problème dès l'instant où l'avocat adverse commence à poser des questions à la barre, un problème qui n'a rien à voir avec le fait que les citations de ce rapport soient exactes. Ce qui est réellement mis à l'épreuve en contre-interrogatoire, c'est la garantie contradictoire, la capacité propre de l'expert à défendre ses conclusions face à une question hostile, non l'exactitude de ce que le rapport a cité. Le même règlement, dans le même souffle, rend obligatoire la vérification d'une citation générée par IA pour le personnel judiciaire. Les deux exigences coexistent côte à côte dans une seule règle. Une seule d'entre elles peut être satisfaite en lançant une vérification.Sources : SCBA AI framework, Resolución SC 1.719/26 (Diario Judicial) · SCBA official note

Voici le schéma qu'il vaut la peine de nommer avec précision : une affirmation correctement sourcée remise à quelqu'un qui ne peut pas reconstituer pourquoi il s'y est fié demeure une source de responsabilité. Une affirmation plus faible, non vérifiée, que la personne comprend pleinement, sait expliquer et assume peut survivre à un examen auquel l'affirmation sourcée ne survit pas, parce que l'examen dans une procédure contradictoire éprouve l'autorité et la compréhension de l'humain, non l'existence de la citation.

Ce que la défendabilité exige réellement, mécaniquement

Si la vérification de source exige un corpus réel, un moyen de relier une affirmation précise à un document précis, la défendabilité exige un ensemble de choses différent et plus difficile.

Une autorité liée à un moment, non seulement à un rôle. La qualité pour agir sur la base d'une sortie assistée par IA est spécifique à un moment et à un mandat, non une propriété permanente d'un intitulé de poste. Vérifier qu'une citation est réelle ne dit rien sur le fait que la personne qui l'invoque détienne actuellement l'autorité que son recours implique, pour cette affaire, à ce stade de celle-ci. Le partage configurateur-exécuteur de Lerer rend le mode de défaillance précis : la question n'est jamais seulement « le système a-t-il agi correctement », c'est « cet acte précis de recours se situait-il dans le périmètre que la configuration avait effectivement autorisé ». Une signature valide avant l'expiration d'un mandat n'est pas automatiquement valide après. Un outil autorisé pour une catégorie d'affaire ne transporte pas cette autorisation dans une catégorie voisine simplement parce que personne n'a revérifié.

Un raisonnement préservé, non seulement des conclusions approuvées. Un système qui remet à un professionnel une réponse finale accompagnée de citations lui permet d'approuver une conclusion sans absorber le raisonnement qui l'a produite. Le contre-interrogatoire ne teste pas les conclusions. Il teste le raisonnement, sous pression, en temps réel, par quelqu'un dont le métier est de trouver la faille. Un flux de travail conçu pour la défendabilité doit forcer l'humain à parcourir et à confirmer la chaîne de raisonnement elle-même, en tant qu'étape distincte de l'acceptation de la sortie finale à citations vérifiées, parce que ce ne sont pas le même acte de révision, et un seul d'entre eux produit quelqu'un capable de survivre à un interrogatoire à ce sujet.

Le registre doit nommer l'acteur responsable, non seulement consigner qu'une vérification a eu lieu. Un enregistreur de vol qui montre que le pilote automatique était enclenché à un moment donné mais pas quel pilote était aux commandes et responsable à ce moment-là omet la partie qui compte lorsque quelque chose tourne mal. La défaillance équivalente dans l'IA juridique est un système qui consigne « verification passed » sans relier ce résultat à une personne précise qui l'a examiné, en vertu d'une autorité précise, à une date précise, et à qui l'on peut demander des comptes sur cette décision par la suite. La vérification produit un fait au sujet d'une affirmation. La défendabilité exige un fait au sujet de la relation d'une personne à cette affirmation, à ce moment.

Des normes de supervision non définies sont une lacune réelle, non hypothétique. Le propos de Lerer sur la supervision humaine « significative » n'est pas une critique abstraite de la rédaction réglementaire. C'est la description d'une règle qui existe dès à présent, contraignante, avec une norme que personne n'a rendue opérationnelle. Une validation de pure forme, cinq secondes à cliquer sur approuver, satisfait techniquement « un humain a supervisé ceci » sous une règle qui ne dit jamais quelle quantité de supervision compte, tout en n'apportant rien de la défendabilité que la règle existe pour produire. Tout système revendiquant le « human in the loop » comme garde-fou doit pouvoir dire, concrètement, ce qui distingue une supervision qui tiendrait d'une supervision qui ne tiendrait pas, parce que la règle ne le dit généralement pas, et la lacune retombe par défaut sur celui qui pose la question après que quelque chose a déjà mal tourné.

Pourquoi cela ne se réduit pas à la vérification

Ce serait commode si la défendabilité se révélait être la vérification de source sous un autre nom, une sous-vérification de plus à ajouter au même pipeline. Elle ne l'est pas, et la traiter ainsi fait perdre le véritable enjeu. La vérification de source répond à une question qu'un régulateur, un adversaire ou un auditeur pose au sujet du contenu : cette affirmation correspond-elle à la réalité. La défendabilité répond à une question qu'un tribunal, une juridiction ou un conseil pose au sujet de la personne : aviez-vous la qualité pour agir et la compréhension nécessaires pour vous fonder là-dessus, ici, maintenant, et pouvez-vous démontrer votre raisonnement. Un système peut produire une affirmation parfaitement vérifiée et néanmoins échouer complètement à la seconde question, et un système peut produire quelque chose de plus faible qui y survit pleinement, parce que la seconde question n'a jamais porté sur l'affirmation en premier lieu.

C'est aussi pourquoi la solution ne ressemble pas à un pipeline de scoring. La vérification peut être automatisée de bout en bout, parce qu'elle est une propriété d'un document confronté à un autre document. La défendabilité ne peut pas être automatisée de la même façon, parce qu'elle est une propriété de la relation d'un humain précis à une décision précise, et le plus que l'architecture puisse faire est de rendre cette relation reconstituable plutôt que présumée. Ce qu'elle peut garantir, c'est que le raisonnement a effectivement été parcouru plutôt qu'entériné pour la forme, que le registre nomme qui a décidé quoi en vertu de quelle autorité, et que les lacunes dans ce qui compte comme supervision adéquate sont traitées comme des questions ouvertes à trancher plutôt que masquées par une case à cocher.

Rien de tout cela n'était prévu comme un second article lorsque le premier a paru. Cela est sorti d'un véritable fil de commentaires, en temps réel, de personnes qui ont poussé l'argument plus loin que ne le faisait la version d'origine. C'est une manière étrange de construire un argument, en public, avec ceux qui vont s'en servir, mais elle a produit une distinction plus nette qu'une pièce close ne l'aurait fait, et l'honnêteté commande de le dire.