Assurance sans accréditeur : construire l'infrastructure de vérification avant que quiconque puisse contrôler votre travail

Le 7 juillet 2026, la Commission européenne a publié son Action Plan on Cybersecurity and Artificial Intelligence (COM(2026) 577 final). Enfoui dans la section 2.2 figure un engagement à mettre sur pied une capacité européenne d'évaluation pour les modèles d'IA de frontière : un organisme externe chargé d'évaluer ce dont les modèles sont capables, de vérifier si les mesures d'atténuation de sécurité des fournisseurs tiennent réellement, et de soutenir la conformité à l'AI Act et au GPAI Code of Practice. Cette capacité doit être établie par un appel dédié, avec un objectif de mise en service opérationnelle en 2027. L'Action Plan promet qu'elle garantira « un processus d'évaluation externe crédible et rigoureux ».Sources : COM(2026) 577 final (EUR-Lex)

À cette phrase est rattachée la note de bas de page 20. Elle précise que cette capacité ne sera pas un organisme d'évaluation de la conformité et se bornera à soutenir la conformité par ses évaluations, sans la certifier directement.

Lue au sens étroit, cette note est une clause de délimitation. Lue comme un motif récurrent, elle décrit une réalité bien plus répandue qu'un simple document de politique européenne : une institution à laquelle on demande de produire de l'assurance avant que n'existe l'appareil qui rendrait cette assurance vérifiable de manière indépendante. L'infrastructure d'accréditation propre à l'UE n'a rien en réserve pour évaluer les capacités des modèles de frontière. La norme de système de management pertinente, ISO/IEC 42006, certifie des organismes qui auditent des processus de gouvernance de l'IA. Elle ne dit rien des organismes qui testent ce qu'un modèle sait réellement faire. La science de l'évaluation des modèles de frontière n'a que quelques années. La contraindre à passer par un cycle d'accréditation conçu pour des méthodologies matures et stables reviendrait à la figer avant qu'elle n'ait eu la chance de mûrir.

La décision de démarrer sans accréditation est donc défendable. Ce qui ne l'est pas, et que le document de l'UE ne résout pas, c'est ce qui advient à mesure que les résultats produits par cette capacité informelle servent à des décisions de plus en plus lourdes de conséquences, tandis que la capacité elle-même demeure exactement aussi informelle qu'au jour de son lancement. Chaque rapport qui atterrit sur le bureau d'un régulateur avec cette évaluation en pièce jointe rend l'évaluation plus structurante. Rien dans la structure informelle ne s'ajuste en retour. Une institution peut être parfaitement légitime à son lancement et structurellement irresponsable cinq ans plus tard, sans qu'aucune décision prise en chemin ne paraisse fautive prise isolément.

Ce n'est pas un problème propre à un seul instrument de politique de l'UE. C'est la condition de presque toute nouvelle fonction de vérification ou d'évaluation dans un domaine en mouvement rapide, y compris celle que nous construisons.

La forme générale du problème

Dépouillé de ses détails propres à l'UE, le motif est le suivant : un nouveau type d'affirmation doit être contrôlé (ce modèle de frontière se comporte-t-il réellement de manière sûre, cette citation juridique reflète-t-elle réellement le droit en vigueur, ce dossier de conformité généré par IA tient-il réellement la route), et aucun accréditeur externe n'existe encore doté d'une méthodologie assez mûre pour certifier quiconque effectue ce contrôle. Deux options se présentent, et toutes deux sont fausses d'une manière précise et instructive.

La première mauvaise option consiste à attendre. Refuser de publier une évaluation, une vérification, une notation, tant qu'un accréditeur n'existe pas pour bénir la méthodologie. Cela paraît responsable et constitue en réalité une démission, car l'accréditeur qui n'existe pas encore ne peut voir le jour sans un corpus de pratique d'évaluation à étudier, à critiquer et, à terme, à normaliser. Les régimes d'accréditation se construisent en observant de vrais évaluateurs prendre de vraies décisions de jugement, y compris de mauvaises, au fil des ans. Refuser d'évaluer quoi que ce soit tant que ce processus ne s'est pas déjà déroulé ailleurs revient simplement à laisser la pratique d'évaluation informelle de quelqu'un d'autre devenir la norme de fait, tandis que la vôtre reste théorique.

La seconde mauvaise option, la plus courante, consiste à évaluer malgré tout et à laisser le résultat paraître exactement aussi autoritaire que si un accréditeur se tenait derrière lui. Un rapport assorti d'un score, d'une méthodologie nommée, d'un pass ou d'un échec net, se lit de la même façon pour un décideur en aval, qu'il émane d'un régime d'accréditation éprouvé ou d'une équipe qui a inventé sa grille il y a six mois. Rien dans la forme visuelle et rhétorique d'un rapport d'évaluation ne signale le poids épistémique qu'il peut réellement supporter. C'est le mode de défaillance qui compte, car il est invisible de l'extérieur et confortable de l'intérieur. Personne n'a besoin de mentir. L'évaluateur peut être parfaitement sincère et produire malgré tout quelque chose sur quoi l'on s'appuie bien au-delà de ce que son propre processus peut soutenir, simplement parce que le rapport ne distingue pas ce qui a réellement été mis à l'épreuve de ce qui n'était qu'une supposition raisonnable formée sous contraintes réelles.

La troisième option, celle qui est honnête et qui fait l'objet de cet article, consiste à évaluer dès maintenant, à refuser l'apparence d'une autorité que l'on ne possède pas, et à bâtir les disciplines précises qui permettent à son propre processus d'être audité par quiconque, à tout moment, sans attendre qu'un accréditeur le fasse à sa place.

Pourquoi le chiffre de confiance unique est le point où la confiance devient injustifiée

Le mécanisme par lequel une évaluation informelle finit discrètement par susciter une confiance excessive passe presque toujours par le même choix de conception : fusionner deux états épistémiques structurellement différents en un seul résultat.

Le premier état est une affirmation qui a été contrôlée contre quelque chose d'externe et de vérifiable : une citation ramenée à une source réelle qui dit bien ce qu'on lui prête et qui est toujours en vigueur, un comportement de modèle reproduit dans des conditions contrôlées contre un test documenté, un dossier de conformité recoupé contre un journal de vérité terrain (ground truth). Le second état est une décision de jugement prise dans une incertitude réelle : une interprétation sur laquelle des experts raisonnables divergeraient, un cas où la méthodologie sous-jacente n'a pas encore été validée contre assez d'exemples pour en connaître le taux d'erreur, un cas limite que l'évaluateur a signalé en interne mais tranché par une supposition raisonnée plutôt que par une réponse établie.

Ces deux états font tous deux légitimement partie d'un vrai travail d'évaluation mené sous contraintes de temps et de ressources. La défaillance consiste à les publier de manière identique. Un score unique, un pass ou échec unique, un pourcentage de confiance unique, efface la distinction dont un lecteur en aval aurait besoin pour calibrer le poids à accorder au résultat. Et comme le travail du second état ressemble et se lit souvent exactement comme celui du premier une fois exprimé dans le même format, la discipline nécessaire pour le maintenir honnête disparaît au moment précis où elle est la plus nécessaire : sous la pression de paraître décisif, de clore une revue, de donner à un client ou à un régulateur une réponse nette plutôt que nuancée.

Ce mode de défaillance n'est pas hypothétique. C'est le comportement par défaut de la plupart des fonctions d'évaluation et de notation sous pression commerciale ou politique, car un rapport qui affiche « confirmé » et « réellement non tranché, voici pourquoi » dans deux sections visiblement distinctes paraît moins autoritaire qu'un rapport livrant un unique chiffre bien net, alors même que le premier est le plus honnête et, avec le temps, le plus digne de confiance des deux.

Les disciplines qui se substituent à l'accréditeur que vous n'avez pas encore

Si l'accréditation n'est pas disponible, l'alternative n'est pas moins de rigueur. C'est une rigueur qui fait sur vous-même le travail de l'accréditeur, rendue assez visible pour que n'importe quel tiers puisse effectuer le contrôle qu'aurait effectué l'accréditeur, sans avoir besoin de la stature institutionnelle de ce dernier pour le faire.

Séparez le confirmé du non tranché comme un résultat structurel, et non comme une note en bas de page. Chaque résultat d'évaluation devrait porter un statut explicite et de premier rang aux côtés de son contenu : ceci a été contrôlé contre une vérité terrain externe et vérifiable, et l'a passé ; ceci était une décision de jugement dans une ambiguïté réelle, tranchée de cette manière pour les raisons énoncées ; ceci est une lacune connue là où la méthodologie n'a pas encore de couverture. Ce ne sont pas des gradations d'un même score. Ce sont des types d'affirmations différents, et les fusionner en un seul chiffre est précisément le choix de conception qui permet à une évaluation informelle de discrètement outrepasser ce qu'elle peut réellement soutenir. Un lecteur capable de filtrer un rapport pour n'en retenir que les affirmations confirmées dispose d'un document réellement différent, et bien plus défendable, que celui qui doit se fier à l'agrégat.

Publiez la méthodologie comme un artefact versionné, et non comme une description ponctuelle. La véritable fonction d'un accréditeur consiste moins à bénir une évaluation isolée qu'à suivre l'évolution des standards d'un évaluateur dans le temps et à détecter la dérive. En l'absence d'accréditeur, ce suivi doit être auto-imposé et public : chaque changement matériel dans la manière de mener les évaluations reçoit un numéro de version, une entrée de journal des modifications et une date, afin que quiconque audite un résultat vieux de dix-huit mois puisse voir exactement quelle méthodologie l'a produit et comment cette méthodologie a été révisée depuis. Des documents de méthodologie statiques et non datés laissent les standards d'un évaluateur s'éroder discrètement sous la pression commerciale, sans que personne ne puisse en apporter la preuve.

Gardez l'affirmation assez étroite pour être falsifiable. Plus une affirmation est large, moins on peut la vérifier. « Ce système d'IA est digne de confiance » ne peut être ni vérifié ni réfuté par une partie extérieure ; c'est une déclaration d'auréole déguisée en évaluation. « La citation de ce résultat précis renvoie à cette source précise, laquelle était en vigueur à cette date, vérifiée contre cette version précise du registre sous-jacent » peut être contrôlée par quiconque a accès au registre, indépendamment de toute confiance dans la stature institutionnelle de l'évaluateur. Toute capacité d'évaluation opérant sans accréditation devrait resserrer ses affirmations jusqu'à ce que chacune soit vérifiable de manière indépendante par une partie n'ayant aucune raison de faire confiance à l'évaluateur. C'est dans la largeur de l'affirmation que se cache l'autorité irresponsable.

Adoptez l'auto-test adverse comme pratique permanente, et non comme audit ponctuel. Puisqu'aucun accréditeur externe n'est disponible pour tenter de casser votre méthodologie, ce rôle doit être tenu en interne, et tenu par des personnes dont l'intérêt est de trouver la faille, non de défendre le processus. Cela suppose de rechercher délibérément les cas les plus susceptibles de mettre l'évaluation en défaut, de publier le taux d'échec aux côtés du taux de réussite, et de traiter un cas infirmant comme un résultat plus précieux qu'un cas confirmant. Une capacité d'évaluation qui ne rapporte jamais que ses succès ne fait pas sur elle-même le travail de l'accréditeur ; elle fait du marketing.

Nommez, à l'avance et publiquement, la condition qui met fin à la période informelle. La leçon la plus claire de la note de bas de page 20 de l'UE est que l'informalité laissée sans date devient permanente par défaut, non par décision. Le correctif consiste à énoncer explicitement, avant qu'une pression externe n'impose la question, ce qui devrait être vrai, quel volume de cas validés, quel niveau de maturité méthodologique, quelle réplication indépendante, avant que cette capacité d'évaluation ne poursuive activement une accréditation formelle ou une validation externe plutôt que de continuer à opérer informellement par défaut. Fixer cette condition publiquement est ce qui empêche une capacité informelle de devenir permanente et irresponsable, au simple motif que personne ayant l'autorité de la formaliser n'a jamais eu à répondre de ne pas l'avoir fait.

Ce que cela ne résout pas

Rien de ce qui précède ne se substitue à une véritable accréditation une fois celle-ci disponible. La rigueur auto-administrée a une limite irréductible : l'évaluateur corrige toujours sa propre copie, et même un évaluateur scrupuleusement honnête ne peut pleinement remplacer la fonction que remplit une partie indépendante, précisément parce que l'indépendance est la seule propriété que l'auto-administration ne peut produire. Les disciplines ci-dessus sont un pont, non une destination. Les tenir pour suffisantes à jamais est exactement la défaillance contre laquelle met en garde Patrick Sullivan, VP of Strategy and Innovation chez A-LIGN et membre de l'ISO/IEC JTC1/SC42, dans sa lecture de la note de bas de page 20 du COM(2026) 577 final, appliquée un cran plus bas : un évaluateur qui bâtit une excellente rigueur interne puis cesse de pousser vers une accréditation externe dès que la version interne lui paraît suffisante a recréé le même piège informel mais structurant que le document de l'UE risque d'engendrer, simplement avec une meilleure ingénierie interne.

Le test qui permet de savoir si une discipline de transition est honnête consiste à vérifier si elle travaille activement à se rendre obsolète : si elle suit, publiquement, les conditions dans lesquelles elle remettrait sa fonction à un véritable accréditeur pour s'effacer. Une capacité d'évaluation qui a discrètement cessé de souhaiter la venue de ce jour a cessé d'être un pont et est devenue exactement l'institution informelle mais structurante contre laquelle Sullivan met en garde, seulement avec une meilleure documentation.