Tout le monde vérifie l'IA juridique. Presque personne ne la vérifie face à quelque chose de réel.

Cette semaine, nous avons pris part à trois conversations sans lien entre elles qui employaient toutes le même mot, vérification, pour désigner trois choses différentes. La première portait sur une plateforme qui note les sorties d'une IA selon une grille. La deuxième partait d'un article de recherche issu de Stanford, Berkeley et NVIDIA, décortiqué avec finesse par une newsletter legaltech que nous suivons. La troisième concernait la prochaine échéance de conformité du Règlement IA de l'Union européenne, à onze jours au moment où nous écrivons. Mises côte à côte, elles correspondent presque parfaitement à trois couches distinctes que le secteur ne cesse de réunir sous un seul mot, et le droit est le domaine où cette confusion coûte le plus cher, car le prix d'une erreur affirmée avec assurance, c'est une citation qui n'existe pas, ou un holding (le ratio decidendi) qui n'est pas ce qu'une note prétend.

Voici la taxonomie, puis la partie technique : ce qu'exige réellement la construction de la troisième couche, celle que presque personne ne bâtit, parce qu'elle est la moins généralisable et la plus coûteuse des trois.

Trois choses que l'on nomme « vérification »

La vérification de la transparence. Avez-vous indiqué à l'utilisateur qu'il s'adresse à un système, et non à une personne ? Avez-vous signalé les contenus synthétiques ? Avez-vous formé vos équipes aux risques des outils qu'elles emploient ? Cela relève de l'Article 4 (la maîtrise de l'IA, applicable depuis le 2 février 2025) et de l'Article 50 (la transparence, exécutoire à compter du 2 août 2026) du Règlement IA. Cette exigence est réelle et n'a rien de facultatif, et elle est auditable à l'échelle d'un marché précisément parce qu'elle n'oblige personne à vérifier si la sortie sous-jacente est correcte. Un régulateur peut confirmer qu'un programme de formation a eu lieu. Un régulateur ne peut pas, sur l'ensemble d'un marché, confirmer qu'une analyse juridique précise était exacte.Sources : Règlement IA (UE) 2024/1689

Le score de confiance. Un LLM évalue la sortie d'un autre LLM selon une grille et renvoie une note. C'est la couche qui évolue le plus vite en ce moment, et elle progresse véritablement. Le développement récent qui retient l'attention est un article intitulé LLM-as-a-Verifier (Kwok et al., Stanford, Berkeley et NVIDIA, arxiv.org/abs/2607.05391), qui a constaté qu'un modèle juge classique, invité à noter un candidat sur une échelle de cinq points, jette presque tout son propre signal dès l'instant où il émet un entier unique. Sous cet entier se trouve une distribution de probabilité complète sur chaque note possible, et lire cette distribution plutôt que la sortie arrondie transforme un juge grossier, enclin aux égalités, en un juge bien plus fin. Sur un benchmark de programmation difficile, un juge discret met deux candidats à égalité 26,7 pour cent du temps. Lire l'espérance continue produit au contraire zéro égalité sur le même benchmark, et sur un exemple antagoniste que les auteurs disséquent, une triche de validation subtile qu'un juge discret a manquée 88 fois sur 100, la version continue la détecte correctement la majorité du temps, d'autant plus que l'échelle de notation s'affine.Sources : LLM-as-a-Verifier (Kwok et al., arXiv:2607.05391)

C'est une avancée réelle et utile, et son ajout ne coûte rien : aucun entraînement, juste une lecture différente des logits qu'un modèle en fonctionnement calcule déjà. Mais les benchmarks de l'article partagent tous une propriété que ses auteurs assument ouvertement : chacun s'accompagne d'un corrigé ferme, d'un test caché qui se tranche nettement, d'un robot qui saisit l'objet ou ne le saisit pas. Marco Rossi, qui rédige la newsletter The LegalTech Overlap, a repris cette frontière et construit son propre test en quatre questions pour déterminer où la technique mérite une place sur le bureau d'un juriste, à commencer par la question de savoir si la tâche possède seulement une notion vérifiable de l'exactitude. Là où elle n'en a pas, une note lisse et assurée ne vaut pas mieux qu'une honnête égalité. Selon la formule de Rossi, un tel chiffre pare un jugement contesté du « costume of a measurement » (le costume d'une mesure) et invite le lecteur à se fier à quelque chose qui n'a jamais été réellement mesuré. Le seul cas qu'il désigne comme franchissant chacune de ses quatre portes sans hésiter, c'est la vérification qu'une citation dans une note juridique existe bel et bien et étaye réellement ce pour quoi elle est citée.

La vérification des sources. L'affirmation factuelle ou juridique précise que l'on a sous les yeux correspond-elle à une source précise, réelle, vérifiable, actuelle et conforme à la juridiction ? C'est la plus étroite des trois, la plus difficile à construire, et celle qui se généralise le moins, car elle exige un véritable corpus de domaine, et non un juge polyvalent. C'est aussi la couche que ni la transparence ni le score de confiance n'effleurent.

Ce qu'exige réellement la vérification des sources

C'est la partie facile à évoquer et difficile à bâtir ; voici donc, concrètement, ce qu'elle exige.

Un corpus réel, actuel et conforme à la juridiction. On ne peut pas vérifier une citation à l'aune de ce qu'un modèle se rappelle, car ce qu'un modèle se rappelle est précisément ce qui a produit l'hallucination au départ. Il faut un ensemble consultable de véritables textes de sources primaires, lois et jurisprudence, qui soit actuel (un article abrogé l'an dernier ne peut pas fonder une affirmation sur le droit d'aujourd'hui, si bien que le corpus a besoin d'une dimension temporelle, et non d'un simple instantané figé) et conforme à la juridiction (une même doctrine signifie autre chose d'une juridiction à l'autre, et se rabattre silencieusement sur la règle d'une seule juridiction comme si elle était universelle constitue un mode de défaillance discret qui lui est propre, facile à manquer lorsque les données de test penchent justement vers le lieu où le système a d'abord été construit).

Correspondance du holding, non proximité vectorielle. La recherche conduit dans le bon voisinage. La similarité d'embeddings livrera volontiers une décision réelle et existante, thématiquement voisine de l'affirmation que l'on a sous les yeux, or la proximité thématique n'est pas la même chose que le fait, pour la décision, de dire réellement ce pour quoi elle est citée. Une citation peut renvoyer à une décision authentique tout en déformant son holding, et ce mode de défaillance passe sans encombre un contrôle d'existence, ce qui le rend plus dangereux qu'une décision fabriquée, puisqu'une décision fabriquée est au moins parfois détectable par une simple recherche d'existence. Un second contrôle, indépendant, doit lier l'affirmation précise au texte source précis, et non se contenter de confirmer que quelque chose de plausible a surgi à proximité.

Audit indépendant, non auto-évaluation. Le processus qui génère une réponse est structurellement le mauvais processus à qui demander si cette réponse est correcte. Un modèle assez sûr de lui pour inventer une citation ne devient pas, du seul fait qu'on lui pose une question de suivi, soudain plus sceptique à l'égard de sa propre sortie. Voilà le véritable argument en faveur de la séparation de la génération et de la vérification en deux passages indépendants : non pas un modèle qui corrige sa propre copie, mais deux processus conçus pour être véritablement en désaccord l'un avec l'autre, où le second a pour unique mission de tenter de briser l'affirmation du premier plutôt que de la confirmer.

Décomposition, éprouvée par des tests antagonistes, et non conçue une seule fois. Une unique question vague, cette citation est-elle correcte, en dissimule une poignée de plus étroites, véritablement vérifiables : l'autorité citée existe-t-elle, la date concorde-t-elle, le montant concorde-t-il, le holding dit-il réellement ce qu'on lui prête. C'est dans le fractionnement de la question que réside l'essentiel de l'exactitude, et c'est là aussi que se cache le risque, car une grille bâtie à la main ne protège que contre les modes de défaillance auxquels son auteur a pensé. La faille dangereuse d'une décomposition n'est jamais le sous-contrôle manifestement absent, c'est celui que personne n'a écrit parce que personne n'a songé à cette manière particulière de se tromper subtilement. En pratique, cela suppose de soumettre à des tests antagonistes des catégories précises de mutations qui préservent la plausibilité de surface tout en inversant le sens réel : une négation retournée, peut en ne peut pas, un quantificateur discrètement affaibli, tous en certains, une valeur modifiée d'un ordre de grandeur, cinq cents milligrammes en cinq mille, une somme écrite en toutes lettres qui ne correspond plus aux chiffres deux phrases plus loin, une date décalée d'exactement le genre de petite retouche qu'introduit une paraphrase négligente. Chacune de ces mutations exige son propre test explicite et exécutable, dans chaque langue où le système fonctionne, car une mutation qu'un vérificateur détecte dans une langue peut passer silencieusement dans une langue pour laquelle personne n'a construit de test, et une garantie qui tient dans une langue tout en échouant sans bruit dans une autre est pire que pas de garantie du tout, puisqu'elle a, vue de l'extérieur, l'apparence d'une couverture.

L'abstention comme sortie de premier rang, non comme solution de repli. Un système de vérification a besoin d'une véritable troisième réponse : non pas seulement vérifié ou non vérifié, mais une déclaration explicite selon laquelle une affirmation donnée n'est tout simplement pas de nature à pouvoir être contrôlée, assortie de la raison. La plupart des produits d'IA juridique sont conçus pour ne jamais revenir les mains vides, si bien qu'une question sans réponse réelle se voit malgré tout forcée d'en recevoir une, et une fois exprimée sous forme de note, plus rien en aval ne peut déceler qu'elle était, à l'origine, sans réponse possible. Construire un système capable de dire, sans détour, celle-ci se situe hors de ce que le système peut vérifier, est une décision produit plus difficile qu'il n'y paraît, surtout parce que cette réponse est celle qui fait taire le produit précisément au moment où une démonstration voudrait qu'il parle.

Pourquoi la réglementation ne comble pas cet écart, et n'allait jamais le faire

Rien de tout cela n'est une critique de la couche de conformité. Les obligations de transparence existent parce qu'elles sont ce qu'un régulateur peut réellement contrôler à l'échelle d'un marché, à faible coût et de manière répétée, sans lire la substance de chaque sortie que l'IA d'une entreprise a jamais produite. C'est un choix de conception raisonnable pour une réglementation qui doit s'appliquer à toute entreprise recourant à l'IA, et pas seulement à celles qui bâtissent des outils juridiques. Mais cela signifie que la pleine conformité et la pleine exactitude reposent sur des axes véritablement indépendants. Une entreprise peut avoir chaque mention de transparence en ordre, chaque salarié formé, chaque sortie synthétique signalée exactement comme la loi l'exige, et livrer malgré tout un assistant juridique qui invente une citation ou déforme un holding, car aucun article du Règlement IA ne pose cette question précise, et aucun score de confiance issu d'un juge polyvalent n'est conçu pour y répondre non plus, pas pour la majorité contestée du travail juridique.

Nommer l'écart

Alignez les trois couches et la forme de l'effort du secteur saute aux yeux. Une énergie considérable se porte sur la transparence, parce que la réglementation l'exige à échéance. Une énergie réelle et rapide se porte sur le score de confiance, parce qu'il est polyvalent, sans entraînement, et qu'il se transfère à tout domaine dont un modèle juge a un jour vu du texte. Très peu se porte sur la vérification des sources, parce qu'elle est l'exact contraire du polyvalent. Elle exige un corpus réel pour le domaine précis, une couverture par tests antagonistes construite et entretenue pour les manières propres à ce domaine de se tromper subtilement, et une architecture qui considère le silence comme moins coûteux qu'une erreur affirmée avec assurance. Elle ne se transfère pas. Elle doit être construite une fois, honnêtement, pour le seul domaine dont on détient véritablement le corpus.

C'est la couche que nous avons passé la plus grande partie de l'année écoulée à construire pour le droit en particulier, et c'est de loin la moins tape-à-l'œil des trois. Elle ne produit pas un chiffre unique et net comme le fait un score de confiance, et elle ne s'accompagne pas d'un certificat comme le fait la conformité en matière de transparence. Ce qu'elle produit, lorsqu'elle est construite honnêtement, est quelque chose de plus étroit et de plus difficile à feindre : une affirmation qui, soit correspond à une source réelle, soit est signalée comme non vérifiable du tout, sans rien qui soit lissé entre les deux.