Le succès vacue : pourquoi la vérification ne sait pas distinguer le silence du feu vert

Tout système de vérification, si sophistiqué soit-il, doit en définitive rendre son jugement à travers un canal de bande passante limitée. Quelque part entre la profondeur de ce qui a réellement été contrôlé et le rapport que lit un humain, cette profondeur se comprime en quelque chose de très proche d'un seul bit : signalé, ou non signalé. Cette compression n'est pas un défaut de mise en oeuvre. Elle est quasiment inévitable, car un humain qui examine des milliers de résultats par jour ne peut absorber pour chacun l'état interne complet d'un vérificateur. Mais la compression a un coût précis et peu examiné, et ce coût ne diminue pas à mesure que les systèmes de vérification s'améliorent. Il augmente, car les meilleurs systèmes inspirent davantage confiance, et la confiance est précisément la ressource qu'un signal comprimé ne peut pas réellement justifier.

L'affirmation énoncée avec précision

Voici l'affirmation structurelle que porte ce texte, énoncée aussi précisément qu'elle peut l'être sans référence à un système particulier : une architecture de vérification qui rapporte son résultat par un canal assez expressif seulement pour distinguer la réussite de l'échec ne peut pas, par construction, distinguer la réussite du non évalué. Les deux se réduisent au même état observable. Aucune précaution en aval, aucun auditeur relisant le résultat, aucune refonte de tableau de bord qui conserve le même canal ne peut restituer une distinction déjà détruite au point de compression. Le correctif, s'il en existe un, doit intervenir là où le résultat est produit, et non à un point quelconque après.

Cela paraît presque trop simple pour mériter un énoncé formel, et c'est exactement pour cette raison que le phénomène réapparaît dans des domaines qui n'ont rien d'autre en commun.

La vérité vacue comme germe formel du problème

Partons d'un élément de logique formelle standard qui n'a rien à voir avec le logiciel ni avec le droit. Un énoncé universellement quantifié, de la forme pour tout élément de cet ensemble, la propriété P est vérifiée, est trivialement vrai lorsque l'ensemble est vide. Aucun élément de l'ensemble vide ne manque de posséder la propriété P, puisqu'il n'y a aucun élément du tout. Les logiciens appellent cela une vérité vacue, et ce n'est ni un paradoxe ni une ruse. C'est simplement ce que signifie le quantificateur. Toutes les citations de cette écriture ont été vérifiées comme étant à jour est une affirmation exactement de cette forme. Si l'écriture ne contient aucune citation, l'affirmation est vacuement vraie, et elle apparaîtra, dans tout système qui contrôle mécaniquement des affirmations de cette forme, à l'identique d'une écriture dont les quarante citations ont été contrôlées une à une et toutes trouvées à jour.

Si cela compte au-delà d'un cours de logique, c'est parce que les systèmes de vérification sont, presque sans exception, construits autour d'affirmations de cette forme. Tous les éléments signalés ont été examinés. Toutes les opérations comprises dans le périmètre ont été testées. Tous les résultats du modèle ont été contrôlés au regard de la propriété en question. Chacun de ces énoncés est une affirmation universelle portant sur un ensemble de travail, et chacun est exposé exactement au même effondrement dès lors que cet ensemble de travail peut être vide, que ce soit par absence honnête, par une décision de périmètre, ou par tout ce qui, en amont, réduit l'ensemble à néant avant même que le contrôle ne s'exécute. La logique de vérification elle-même peut être irréprochable. Le cas vacue passe malgré tout, car passer est ce que la logique est conçue pour faire lorsqu'il ne reste rien sur quoi échouer.

L'argument de la capacité du canal

Poussons la même idée dans le langage de la théorie de l'information, car ce cadrage rend la seconde moitié de l'argument, à savoir pourquoi cela ne peut être corrigé en aval, considérablement plus nette.

Traitons le résultat d'une étape de vérification comme un canal. Le canal a une capacité finie, c'est-à-dire qu'il peut distinguer un nombre fini d'états sous-jacents distincts. Un système qui rapporte seulement réussite ou échec dispose d'un canal d'exactement un bit. Mais l'espace réel des états qui auraient pu produire ce rapport compte plus de deux éléments. Au minimum, il y a : le contrôle s'est exécuté et la cible l'a satisfait, le contrôle s'est exécuté et la cible a échoué, le contrôle ne s'est pas exécuté car il n'y avait rien à contrôler, le contrôle ne s'est pas exécuté car quelque chose en amont a supprimé l'entrée dont il avait besoin, et le contrôle s'est exécuté en mode dégradé, incapable en réalité de tester la propriété qu'il prétend tester. Cela fait au moins quatre ou cinq états véritablement distincts, comprimés dans un canal qui n'a de place que pour deux.

Un résultat élémentaire de la théorie de l'information est ici sans indulgence : un canal ne peut transporter une information qu'il n'avait pas, au départ, la capacité de transporter, et rien de ce qui est fait après la transmission ne peut restituer ce que le canal lui-même était trop étroit pour représenter. Peu importe avec quel soin un humain lit le bit unique qui subsiste, ni l'expérience de l'examinateur, ni le nombre de relectures du même rapport. Les distinctions qui comptaient ont été perdues avant même que le bit ne soit produit. Tout correctif opérant du côté de la sortie, lecture plus attentive, meilleure formation, second examinateur, tente de reconstruire un signal à partir d'un canal qui, structurellement, ne peut pas le porter. Le seul correctif qui puisse fonctionner consiste à élargir le canal lui-même, au point où la compression a lieu, afin que non évalué devienne un état que le canal peut effectivement exprimer et distinguer de évalué et sans anomalie.

Il vaut la peine de s'y arrêter, car c'est la partie que la plupart des correctifs opérationnels manquent. Le réflexe, lorsque quelqu'un fait remarquer qu'un résultat sans anomalie peut signifier que rien n'a été contrôlé, est d'ajouter une note, une réserve, une mention en bas de page expliquant la limite. Mais une note de bas de page reste en aval de la compression. Si le canal qui pilote effectivement les comportements, la couleur du tableau de bord, l'escalade automatisée, le champ sur lequel s'alignent les systèmes en aval, ne transporte toujours qu'un seul bit, la note n'est que décoration. Les états sont déjà fusionnés au moment où quiconque lit la note.

Où cela se reproduit, et pourquoi de façon identique à chaque fois

Le schéma apparaît partout où un système rend compte de la couverture ou de la conformité par un signal binaire ou quasi binaire, et il vaut la peine de parcourir plusieurs cas avec précision, car le mécanisme est identique à chaque fois, même si le vocabulaire du domaine change complètement.

Prenons les tests automatisés de code. Une suite de tests rapporte un taux de réussite : un certain nombre de tests se sont exécutés, et une certaine fraction d'entre eux a réussi. Un taux de réussite de cent pour cent est tenu, à juste titre pris isolément, pour une bonne nouvelle. Mais une suite de tests comportant trois assertions triviales couvrant une infime portion de la logique réelle rapporte le même chiffre de tête qu'une suite de tests couvrant exhaustivement chaque branche et chaque cas limite, cent pour cent de réussite. La différence entre les deux réside entièrement dans un second chiffre, la couverture, qui mesure la part du système que les tests ont effectivement touchée. Un taux de réussite sans un chiffre de couverture affiché à côté, avec un poids visuel égal, est une vérité vacue vêtue d'un habit rassurant. C'est précisément pourquoi les organisations d'ingénierie sérieuses exigent de suivre la couverture comme une métrique de premier rang plutôt que comme un diagnostic facultatif : sans elle, le taux de réussite seul ne peut distinguer une validation approfondie d'une absence de quoi que ce soit sur quoi échouer.

Prenons les analyses de laboratoire clinique. Un dosage diagnostique revient négatif. Ce négatif peut signifier que l'échantillon était réellement dépourvu de l'analyte recherché, résultat que chacun présume à la lecture du rapport. Il peut aussi signifier que l'échantillon s'est dégradé pendant le transport, ou a été prélevé incorrectement, ou que le réactif était défaillant, de telle sorte que le test devient incapable de détecter l'analyte même s'il était abondamment présent. Un processus de laboratoire bien conçu comporte un contrôle interne, une seconde mesure dont l'unique fonction est de confirmer que le test était effectivement capable de détecter un positif s'il y en avait un, précisément pour qu'un résultat négatif puisse être distingué d'une absence de résultat déguisée en résultat négatif. Un processus de laboratoire dépourvu de ce contrôle interne présente, structurellement, exactement le même problème de canal à un bit que l'exemple des tests de code, avec des enjeux vitaux en plus.

Prenons l'audit financier. Un auditeur émet une opinion sur un jeu d'états financiers, et une opinion sans réserve est lue par presque tous ceux qui sont extérieurs à la profession comme signifiant ces chiffres sont corrects. Ce que cette opinion certifie en réalité est bien plus étroit : que dans un périmètre défini, selon une méthodologie d'échantillonnage définie, et sous réserve d'un seuil de signification, rien de ce qui a été testé n'a atteint le niveau d'une exception à signaler. Une catégorie d'opérations exclue du périmètre, une population définie assez étroitement pour exclure les opérations qui comptaient réellement, ou un échantillon qui n'a pas inclus les cas problématiques, produisent tous la même opinion sans réserve que produiraient des comptes véritablement sains. Le paragraphe de périmètre existe précisément pour empêcher cet effondrement, et une bonne part des critiques récurrentes sur la qualité de l'audit, à travers des décennies d'histoire financière, revient au fond à constater que les lecteurs prennent l'opinion en titre pour le canal et ignorent le paragraphe de périmètre, qui porte pourtant les bits manquants.

Chacun de ces exemples provient d'un domaine sans vocabulaire commun, sans régulateur commun et sans histoire commune. Le fait que le mécanisme se reproduise à l'identique dans les trois cas est la preuve la plus forte qu'il s'agit d'une propriété structurelle des canaux de vérification binaires en général, et non d'une singularité de l'un d'entre eux.

Où cela se reproduit dans notre propre domaine

La même structure apparaît dans le problème spécifique consistant à vérifier que les autorités citées à l'appui d'une prétention juridique existent réellement, demeurent à jour et soutiennent bien ce qu'on leur fait dire. Un passage de vérification sur les citations d'un document produit, au niveau que le lecteur consomme réellement, quelque chose de très proche d'un signal unique : citations contrôlées, aucune défaillante. Ce signal est exactement aussi exposé au cas vacue que tous les exemples ci-dessus. Un document qui ne comporte aucune citation nécessitant vérification, et un document dont l'appareil de citation est présent quant au fond mais est devenu invisible au contrôle mécanique, que ce soit par reformatage, par une paraphrase qui supprime les marqueurs formels que recherche un analyseur, ou par toute autre transformation qui efface les traits de surface sur lesquels s'aligne l'étape de vérification, produisent tous deux le même état en aval : rien à signaler. Un lecteur qui observe cet état ne peut dire, à partir du seul état, s'il a devant lui un document ne formulant aucune prétention nécessitant un fondement, ou un document formulant des prétentions non fondées sous une forme que le contrôleur ne peut pas voir.

La distinction compte davantage ici que dans la plupart des autres exemples, car les deux cas emportent des conséquences très différentes et se confondent aisément sous pression. Une brève note de procédure qui ne cite véritablement rien n'est pas un risque. Une affirmation substantielle d'autorité applicable dépouillée de sa forme vérifiable, délibérément ou par accident, est exactement le risque que l'étape de vérification existe pour saisir, et c'est précisément le cas que l'effondrement vacue dissimule.

Le seul correctif durable découle directement de l'argument de la capacité du canal exposé plus haut : le résultat de vérification doit porter un troisième état, explicite et pondéré à égalité, distinct de la réussite comme de l'échec, réservé exactement à cette situation, et ce troisième état doit être traité comme au moins aussi significatif qu'un échec, et non comme un cousin plus discret du succès. Un document comportant des affirmations d'autorité substantielles mais invérifiables ne devrait pas se lire comme un document n'ayant rien à vérifier. Inscrire cette distinction dans le signal lui-même, plutôt que dans une réserve accolée une fois le signal déjà produit et consommé, est le seul endroit de la chaîne où les bits manquants peuvent encore être récupérés, car c'est le seul point situé avant que la compression n'ait déjà eu lieu.

Le principe général de conception

En généralisant à partir de tous les cas ci-dessus, on obtient une règle de conception assez simple pour tenir en une phrase et assez exigeante pour que presque aucune architecture de vérification ne la satisfasse par défaut : tout système capable de produire un résultat sans anomalie doit aussi être capable de produire, en sortie distincte et également visible, l'énoncé selon lequel il n'a pas évalué la chose qu'on le lit comme ayant évaluée.

Trois conséquences découlent d'une prise au sérieux de cette règle, et aucune n'est un supplément facultatif.

Premièrement, non évalué ne peut pas être autorisé à retomber silencieusement dans la même catégorie que évalué et sans anomalie, en aucun point de la chaîne, depuis l'exécution du contrôle jusqu'à la lecture par un humain d'un résumé de celui-ci. Chaque endroit où une valeur par défaut est attribuée en l'absence de données est un endroit où cet effondrement peut se réintroduire, même après que la logique sous-jacente a été corrigée une fois.

Deuxièmement, la population ou l'ensemble de travail sur lequel porte un contrôle doit être journalisé et affiché avec la même importance que le résultat. Le résultat d'une étape de vérification n'est interprétable qu'accompagné d'un énoncé honnête de ce sur quoi elle a effectivement travaillé. Rapporter un résultat sans rapporter la taille et la composition de ce qui a été contrôlé, c'est rapporter une demi-mesure et la présenter comme une mesure entière.

Troisièmement, et c'est le plus difficile à intérioriser sur le plan organisationnel, un résultat exceptionnellement sans anomalie mérite plus d'examen, et non moins, lorsque l'ensemble de travail s'est réduit de manière inattendue. Un passage de vérification comportant moins d'éléments à contrôler que n'en contient habituellement la même catégorie de documents constitue un signal à part entière, et le tenir pour neutre ou rassurant, plutôt que comme une invitation à chercher pourquoi l'ensemble de travail a diminué, est la manière dont le cas vacue finit par causer le plus de dégâts en pratique. Non parce que quelqu'un l'aurait voulu ainsi, mais parce qu'un système qui ne remarque jamais que des problèmes n'a, par construction, rien à dire de l'absence d'un problème qu'il n'a jamais eu l'occasion de chercher.

Pourquoi cela devient plus urgent, et non moins, à mesure que la vérification s'automatise

Le dernier point qui mérite d'être énoncé explicitement est la raison pour laquelle ce problème s'aggrave au lieu de s'atténuer à mesure qu'une part croissante du travail de vérification, dans n'importe quel domaine, passe d'un humain sceptique le faisant à la main à un système automatisé le faisant à grande échelle. Un examinateur humain qui accomplit le travail manuellement tend à remarquer qu'il y avait exceptionnellement peu à examiner, car accomplir le travail à la main revient à éprouver directement la taille de l'ensemble de travail. L'automatisation supprime précisément cette sauvegarde incidente. Une chaîne qui exécute le même contrôle un million de fois par jour produit un million de bits isolés, et personne n'est en mesure de remarquer, cas par cas, que certains de ces résultats provenaient d'un ensemble de travail vide plutôt que d'un ensemble véritablement sans anomalie. Ce qui fait précisément la valeur de la vérification automatisée, sa capacité à produire un signal propre sans qu'aucun humain ne regarde jamais la matière sous-jacente, est aussi ce qui supprime le contrôle incident qu'un examinateur humain assurait autrefois gratuitement.

Ce n'est pas un argument contre l'automatisation de la vérification. C'est un argument selon lequel automatiser la vérification sans concevoir séparément et délibérément le troisième état décrit plus haut ne se contente pas de ne pas résoudre le problème du succès vacue. Cela supprime la dernière sauvegarde qui le contenait discrètement, et le fait exactement au moment où le volume de résultats auxquels on fait confiance sans les lire augmente de plusieurs ordres de grandeur. Un angle mort qu'un humain attentif absorbait par accident, un document à la fois, devient un angle mort opérant à l'échelle de tout ce que touche le système automatisé, dès l'instant où personne ne reconstruit délibérément la distinction manquante.