La provenance n'est pas la validité : la confusion au coeur du grounding de l'IA juridique

Demandez à n'importe quel éditeur d'IA juridique si son système hallucine, et vous obtiendrez une variante de la même réponse : non, parce que chaque affirmation repose sur une source récupérée, avec une citation qu'il est possible de cliquer et de vérifier. C'est devenu la définition opérationnelle du problème résolu dans l'industrie. La génération augmentée par récupération a remplacé la génération libre, les citations ont remplacé les affirmations nues, et le problème de l'hallucination a été déclaré, sinon résolu, du moins contenu.

Il n'est pas contenu. Il a été réduit à exactement l'une des deux propriétés dont une affirmation juridique fondée a besoin, tandis que la seconde, sans doute la plus difficile, reste presque entièrement ignorée. L'industrie a résolu la provenance. Elle n'a pas résolu la validité. Et parce que ces deux propriétés paraissent identiques vues de l'extérieur, un système qui ne possède que la première produit des réponses indiscernables, sur le papier, de réponses qui possèdent les deux.

C'est la confusion dont traite cet article, et il vaut la peine d'être précis à son sujet, car le remède à l'un des problèmes ne fait rien pour l'autre.

Deux affirmations sous un seul mot

Lorsqu'un système d'IA juridique affirme qu'une réponse est « fondée » (grounded), il formule implicitement deux affirmations factuelles distinctes, qu'il convient de séparer complètement.

La provenance est l'affirmation selon laquelle une source citée existe et dit bien ce qu'on lui attribue. C'est une affirmation sur l'état présent d'un document : l'Article 1124 de tel code civil existe-t-il, et son texte étaye-t-il réellement la proposition que le modèle y a rattachée. Les défaillances de provenance sont ce que les gens désignent lorsqu'ils parlent de « citation hallucinée » : une décision qui n'a jamais été rendue, une loi qui n'a jamais été promulguée, ou une source réelle étirée pour soutenir une affirmation qu'elle ne formule pas en réalité.

La validité est une affirmation entièrement différente : celle selon laquelle la source citée constitue encore le droit en vigueur, à l'instant présent, ou à la date à laquelle l'analyse est arrêtée. Non abrogée. Non remplacée par un acte ultérieur. Non modifiée d'une manière qui altère le texte applicable. Ni renversée (overruled), ni distinguée jusqu'à l'insignifiance, ni limitée par une autorité postérieure. La validité n'est pas une affirmation sur le document. C'est une affirmation sur la relation du document avec tout ce qui est arrivé au droit depuis sa rédaction.

Ce sont des axes indépendants. Une citation peut avoir une provenance parfaite et une validité nulle : la source est réelle, la citation est exacte, et rien de tout cela n'a d'importance parce que la disposition a été abrogée il y a dix-huit mois. Une citation peut, en principe, avoir une provenance imparfaite tout en pointant vers quelque chose de valide, bien que ce cas soit plus rare et moins intéressant. Les deux modes de défaillance exigent des stratégies de détection entièrement différentes, et c'est la part que l'industrie n'a pas assimilée.

Pourquoi le RAG avec citations ne vous procure que la première

La génération augmentée par récupération a gagné sa réputation de remède à l'hallucination parce qu'elle cible directement la provenance. On transforme la requête en embedding, on transforme le corpus en embeddings, on récupère les passages les plus proches, on génère une réponse conditionnée par ces passages, et on rattache le passage comme citation. C'est une architecture réellement efficace pour s'assurer que le modèle parle de quelque chose qui existe plutôt que de l'inventer à partir de sa mémoire paramétrique. C'est une véritable avancée, et ce n'est pas ce que cet article conteste.

Mais observez ce que l'étape de récupération optimise réellement : la similarité sémantique entre la requête et un passage du corpus. Rien dans ce score de similarité n'encode le fait que le passage soit encore en vigueur. Un article abrogé et l'amendement qui l'a abrogé peuvent se trouver à quelques tokens l'un de l'autre dans le même texte consolidé, ou dans des lignes de base de données adjacentes, et leurs embeddings seront quasi identiques, parce qu'ils décrivent le même objet dans une langue similaire. Un précédent qui a fait autorité pendant vingt ans et la décision d'appel qui l'a renversé (overruled) l'an dernier partageront fréquemment davantage de vocabulaire l'un avec l'autre qu'aucun des deux n'en partage avec une disposition sans rapport mais actuellement valide. La distance d'embedding mesure ce dont il est question. Elle ne mesure pas la validité. Aucun mécanisme d'un pipeline de récupération vectorielle standard ne ferait qu'une source obsolète obtienne un score inférieur à une source en vigueur, parce que le caractère obsolète n'est pas une propriété sémantique du texte. C'est une propriété de la position du texte dans une chronologie que l'embedding ne voit jamais.

C'est la raison structurelle pour laquelle les systèmes RAG peuvent passer tous les contrôles de provenance et servir malgré tout, en toute confiance, du droit mort. La citation est réelle. Le passage dit bien ce qu'on affirme. La récupération a fonctionné exactement comme prévu. Et la réponse est fausse, d'une manière qu'aucune relecture du passage cité ne révélerait, parce que le passage lui-même ne donne aucune indication qu'il a été remplacé. Le remplacement n'est pas inscrit dans le texte remplacé. Il est inscrit dans un autre document, peut-être dans un registre différent, un journal officiel ou un recueil de jurisprudence différent, que l'étape de récupération n'avait aucune raison particulière de faire remonter également.

Une illustration détaillée

Considérons, à titre d'illustration, une disposition d'un code civil relative aux délais de prescription contractuelle. Supposons qu'elle ait initialement fixé un terme de quinze ans, et qu'une réforme législative, quelques années plus tard, l'ait ramené à cinq, avec une règle transitoire pour les contrats antérieurs à la réforme. (Ce schéma n'est pas hypothétique : la Ley 42/2015 espagnole a ramené le délai de prescription général des actions personnelles au titre de l'Article 1964 du Código Civil de quinze à cinq ans, avec précisément un tel régime transitoire.) Un corpus qui a correctement intégré le code consolidé contiendra le texte actuel de cinq ans. Mais si le corpus, ou le pipeline d'embedding, ou une représentation intermédiaire mise en cache, a conservé une version remplacée, un fragment issu d'un ancien scrape, un commentaire doctrinal citant l'ancienne règle, une décision d'une juridiction inférieure l'ayant appliquée avant la réforme, alors un système de récupération n'a aucune raison structurelle de préférer le texte actuel au texte remplacé. Les deux fragments sont thématiquement identiques : tous deux portent, mot pour mot, sur le délai de prescription applicable à cette catégorie de contrats. Le score de similarité ne peut pas les distinguer, parce que ce qui les distingue, l'un est en vigueur et l'autre non, n'est encodé dans le texte d'aucun des deux passages. C'est encodé dans un fait externe aux deux : la date de la réforme, la date d'entrée en vigueur, et le régime transitoire déterminant à quels contrats s'applique chaque version.Sources : Ley 42/2015 (BOE)

Étendez maintenant cela à la jurisprudence, où la défaillance équivalente est plus tranchée parce qu'il n'existe aucun texte consolidé sur lequel se rabattre. Un précédent est renversé (overruled) non pas en modifiant l'arrêt d'origine mais par un arrêt distinct et postérieur affirmant, selon la convention propre à la juridiction, que l'affaire antérieure ne représente plus le droit. Le texte de l'arrêt d'origine ne change pas. Il demeure dans le corpus, pleinement citable, tout aussi convaincant à la lecture qu'au jour où il a été rendu, sans rien à sa surface qui indique qu'une juridiction a, dix-huit mois plus tard, adopté la position inverse. Un système de récupération conçu uniquement pour la provenance le fera remonter, le citera avec exactitude et le reproduira fidèlement, tout en servant un droit qu'un collaborateur de première année muni d'un citateur (citator) repérerait en trente secondes.

Ces trente secondes accomplissent plus de travail qu'il n'y paraît. Elles constituent le problème de validité tout entier, comprimé en une unique vérification manuelle que presque aucun pipeline automatisé n'effectue.

L'infrastructure qui résout déjà la moitié du problème, et la moitié qu'elle ne touche pas

L'informatique juridique a passé des décennies à bâtir des standards d'identifiants et de structure, et il convient d'être juste envers ce qu'ils couvrent réellement. ELI (l'European Legislation Identifier) et ECLI (l'European Case Law Identifier) donnent à chaque texte législatif et à chaque décision de justice une identité stable et résoluble. Akoma Ntoso confère aux documents juridiques une représentation XML structurée, distinguant le préambule du texte applicable, les articles des paragraphes, les amendements du texte de base. Le service de consolidation d'EUR-Lex, exposé via des identifiants CELEX datés, fait quelque chose de plus proche de ce que la validité exige : il suit les versions consolidées de la législation de l'UE et expose, pour une date donnée, quelle version d'un règlement ou d'une directive était en vigueur.Sources : ELI (EUR-Lex) · ECLI (Council conclusions, 2011) · Akoma Ntoso · EUR-Lex consolidated texts

Il s'agit d'une infrastructure réelle, et elle résout excellemment la provenance. Un identifiant se résout en un document. Une représentation structurée vous indique quelle partie du document vous consultez. Rien de tout cela, à soi seul, n'indique à un système consommateur si cette disposition précise, résolue à cet identifiant précis, constituait encore le droit en vigueur à la date à laquelle la question est posée.

Là où ce problème a été résolu, historiquement, il l'a été par des services de citator propriétaires, curés manuellement. Shepard's Citations et KeyCite existent précisément parce que la validité ne découle pas de la possession du texte ; elle requiert un graphe distinct du traitement ultérieur, bâti par une armée d'éditeurs lisant chaque nouvelle décision et classant sa relation avec chacune de celles, antérieures, qu'elle cite : suivie, distinguée, limitée, critiquée, renversée (overruled). Cela a fonctionné, depuis plus d'un siècle, dans une poignée de marchés de common law, au prix d'un coût éditorial continu colossal, et cela n'existe pas sous une forme qui passe à l'échelle de soixante juridictions de législation et de jurisprudence simultanément. Personne n'a construit l'équivalent de Shepard's pour la validité législative à travers soixante systèmes juridiques, parce que personne n'en a eu besoin jusqu'à ce qu'un système d'IA se mette à répondre avec assurance à des questions couvrant les soixante à la fois.

Ce qu'exige réellement une architecture consciente de la validité

Si la provenance se résout par un identifiant qui pointe vers un document, la validité se résout par un graphe, et il lui faut deux types de graphes structurellement différents, parce que législation et jurisprudence sont remplacées par des mécanismes distincts.

Pour la législation, le graphe est une chaîne d'amendements versionnée. Chaque noeud est une version d'une disposition, valide sur un intervalle spécifique. Les arêtes représentent l'amendement (cette version remplace celle-là, avec effet à cette date), la dérogation (cette disposition est suspendue, non abrogée, sous ces conditions) et l'abrogation (cette version met un terme entier à la validité de la disposition). Les régimes transitoires constituent un troisième type d'arête, car ils précisent quelle version s'applique aux faits survenus avant une échéance donnée, ce qui est exactement le cas qui met en défaut un système ne connaissant que le texte actuel. Une requête de validité sur ce graphe n'est pas une recherche. C'est une consultation à une date donnée : étant donné une disposition et une date, quelle version était en vigueur, et que dit précisément cette version. C'est la même information que l'appareil de consolidation d'EUR-Lex suit déjà pour le droit de l'UE. Elle n'existe pas encore, sous une forme systématique, pour la plupart des systèmes juridiques nationaux, et elle n'existe pas du tout sous la forme d'une API interrogeable que la plupart des pipelines de récupération pourraient appeler.

Pour la jurisprudence, le graphe est un graphe de citator, et ses arêtes portent un problème plus ardu : elles exigent de classer le type de traitement ultérieur, et pas seulement son existence. Une décision postérieure qui en cite une antérieure peut la suivre, la distinguer sur les faits, limiter sa portée à une catégorie d'affaires plus étroite, mettre en cause son raisonnement sans la renverser formellement, ou la renverser (overrule) purement et simplement. Ces cas ne sont pas équivalents, et traiter « cité par une décision postérieure » comme un signal unique et indifférencié est presque aussi inutile que d'ignorer entièrement le traitement ultérieur. Classer automatiquement cette relation est un problème d'inférence en langage naturel réellement difficile : il exige de lire le traitement effectif de la décision antérieure par la décision postérieure, et pas seulement de détecter qu'une citation existe. Des modèles d'implication peuvent être entraînés à effectuer une première passe raisonnable sur les signaux les plus manifestes de renversement et de distinction, dans la langue que les juridictions emploient conventionnellement pour l'exprimer, mais c'est un problème de recherche réellement non résolu dans le cas général, et tout système en production devrait le reconnaître honnêtement plutôt que de prétendre qu'un graphe de citations plus un score de similarité constituent un contrôle de validité.

Le résultat, lorsque les deux existent, est qu'un contrôle de validité cesse d'être une tâche de recherche et devient un parcours de graphe : étant donné une affirmation citant la source S, existe-t-il une arête active, datée d'avant la date de la requête, qui retire la validité de S, que ce soit par amendement, abrogation ou renversement. Ce parcours est une opération rapide, déterministe et vérifiable par la machine. Sans le graphe, ce n'est pas une version lente du même contrôle. Il n'est pas effectué du tout. Le système ne dispose d'aucune structure de données dans laquelle la question « ceci est-il encore le droit en vigueur » soit seulement représentable, de sorte qu'il présume par défaut, silencieusement, que oui.

Pourquoi cela s'aggrave plus que la fabrication

Il y a une raison de traiter les défaillances de validité comme plus dangereuses que les défaillances de provenance, et non l'inverse, et il vaut la peine de l'énoncer directement parce que l'attention de l'industrie va dans l'autre sens.

Une citation fabriquée est, au moins en principe, vérifiable par son existence. Cette affaire existe-t-elle. Une simple consultation dans n'importe quel recueil de jurisprudence répond à la question, et un relecteur diligent, ou un contrôle d'existence automatisé, la détecte. C'est un mode de défaillance embarrassant, sanctionnable, largement médiatisé, et c'est aussi, structurellement, le plus facile des deux à contrer, parce que le contrôle est binaire et que la vérité de terrain (cette affaire existe-t-elle dans ce recueil) est sans ambiguïté.

Une citation caduque passe ce même contrôle. L'affaire existe. Elle a été tranchée par la juridiction qu'elle indique, à la date qu'elle indique, disant exactement ce qui est cité. Tout contrôle de provenance dont dispose un relecteur qui n'effectue pas aussi un contrôle de validité renverra un résultat propre. Le seul moyen de la détecter est de savoir déjà, ou de vérifier, si quelque chose est arrivé à cette autorité par la suite, ce qui est précisément l'élément d'information qui ne réside pas à l'intérieur du document cité lui-même. C'est pourquoi l'instinct d'un avocat expérimenté de recourir à un citator n'est pas une habitude ; c'est la reconnaissance que provenance et validité sont des questions différentes exigeant des outils différents, et que le premier outil ne peut pas répondre à la seconde question, si soigneusement qu'il soit appliqué.

Cela empire sous l'effet de la composition. Le raisonnement juridique est rarement une affirmation unique ; c'est une chaîne, où une évaluation de risque ou une recommandation de rédaction repose sur trois ou quatre prémisses, chacune citant sa propre autorité. Si une prémisse de la chaîne est caduque, saine en provenance mais morte en validité, le défaut ne reste pas local. Chaque inférence en aval bâtie sur cette prémisse hérite silencieusement de l'erreur, parce que chaque étape inférentielle individuelle, examinée isolément, paraît localement solide. La chaîne ne vaut que par son maillon le plus faible, et une défaillance de validité est un maillon faible qui ne donne aucun signe visible de faiblesse nulle part dans la sortie finie. Un relecteur qui lit le mémoire final, vérifiant que chaque citation est réelle et dit bien ce qu'on lui prête, ne trouvera rien d'anormal, parce que rien n'est anormal du côté de la provenance. Le défaut réside entièrement dans la couche que la relecture n'a jamais touchée.

Ce que « fondé » devrait réellement signifier

Si la provenance et la validité sont véritablement des propriétés distinctes, la prétention d'un système à être fondé devrait se décomposer en au moins trois affirmations vérifiables, et non une seule : cette source existe, à cet identifiant, résoluble indépendamment de la parole du modèle. Le texte de cette source étaye cette affirmation précise, au niveau du passage cité, et non du thème général. Et cette source constituait le droit en vigueur à la date pertinente, vérifié au regard d'un enregistrement structuré de tout ce qui lui est arrivé depuis sa rédaction, et non déduit de l'absence de signal contraire dans le passage lui-même.

La plupart de ce que le marché appelle aujourd'hui un système d'IA juridique fondé satisfait les deux premières et reste muet sur la troisième, non parce que la troisième est sans importance, mais parce qu'elle requiert une infrastructure qui n'existe pas encore pour la plupart des systèmes juridiques du monde : des graphes de législation versionnés permettant la consultation à une date donnée, et des graphes de citator maintenus automatiquement ou semi-automatiquement, couvrant des juridictions à une échelle qu'aucun service propriétaire n'a jamais tentée. Construire cette infrastructure est un projet catégoriquement différent de la construction d'un meilleur récupérateur ou d'un meilleur formateur de citations. Cela exige de traiter la validité juridique comme un fait de première classe, temporel, structuré en graphe, suivi en continu à mesure que le droit évolue, plutôt que comme une propriété qui pourrait se lire à même le texte de la loi.

Tant que cela n'existe pas, tout système d'IA juridique fondé formule une prétention qu'il ne peut en réalité pas vérifier. Il peut vous dire d'où provient une réponse. Il ne peut pas encore vous dire, avec la même assurance, si l'endroit d'où elle provient est toujours celui où réside le droit.