공허한 통과: 검증은 왜 침묵과 이상 없음을 구별하지 못하는가

모든 검증 시스템은 아무리 정교하더라도 결국 대역폭이 제한된 채널을 통해 판단을 전달해야 합니다. 실제로 무엇을 얼마나 깊이 확인했는지와 사람이 읽는 보고서 사이의 어딘가에서, 그 깊이는 사실상 하나의 비트에 가까운 것으로 압축됩니다. 플래그된 것인가, 플래그되지 않은 것인가. 이 압축은 구현상의 실패가 아닙니다. 하루에 수천 건의 출력을 검토하는 사람이 각 건마다 검증기의 내부 상태 전체를 흡수할 수는 없기 때문에, 압축은 사실상 불가피합니다. 그러나 이 압축에는 구체적이면서도 충분히 검토되지 않은 대가가 따르며, 그 대가는 검증 시스템이 좋아진다고 해서 줄어들지 않습니다. 오히려 커집니다. 더 나은 시스템일수록 더 큰 신뢰를 받게 되는데, 신뢰야말로 압축된 신호가 실제로는 정당화할 수 없는 자원이기 때문입니다.

주장의 정확한 진술

이 글이 제기하는 구조적 주장을 특정 시스템을 언급하지 않고 가능한 한 정확하게 진술하면 다음과 같습니다. 통과와 실패를 구별할 정도의 표현력만 갖춘 채널로 결과를 보고하는 검증 아키텍처는 구조상 통과와 평가되지 않음을 구별할 수 없습니다. 두 상태는 동일한 관측 가능 상태로 붕괴합니다. 하류에서 아무리 주의를 기울여도, 감사인이 출력을 다시 읽어도, 동일한 채널을 유지한 채 대시보드를 재설계해도, 압축 시점에 이미 파괴된 구별을 복원할 수는 없습니다. 해결책이 있다면 그것은 결과가 생성되는 지점에서 이루어져야 하며, 그 이후의 어느 지점에서도 이루어질 수 없습니다.

이는 형식적으로 진술할 가치조차 없을 만큼 단순해 보이지만, 바로 그 점 때문에 서로 아무런 공통점도 없는 분야들에서 반복적으로 나타납니다.

문제의 형식적 씨앗으로서의 공허참

소프트웨어나 법률과는 무관한 표준 형식논리의 한 조각에서 출발합니다. for every element of this set, property P holds 형태의 전칭 양화 명제는 그 집합이 공집합일 때 자명하게 참입니다. 공집합의 원소 가운데 성질 P를 갖지 않는 것은 없습니다. 애초에 원소 자체가 없기 때문입니다. 논리학자들은 이를 공허참이라 부르며, 이는 역설도 속임수도 아닙니다. 그저 양화사가 의미하는 바 그대로입니다. All citations in this filing have been verified as current 역시 정확히 같은 형태의 주장입니다. 해당 서면에 인용이 하나도 없다면 그 주장은 공허하게 참이며, 이런 형태의 주장을 기계적으로 확인하는 어떤 시스템에서든 마흔 개의 인용을 하나하나 확인해 모두 유효함을 확인한 서면과 완전히 동일하게 표시됩니다.

이것이 논리학 수업을 넘어 중요한 이유는, 검증 시스템이 거의 예외 없이 바로 이 형태의 주장을 중심으로 구축되어 있기 때문입니다. 플래그된 항목은 모두 검토되었다. 범위 내의 거래는 모두 테스트되었다. 모델 출력은 모두 해당 속성에 대해 확인되었다. 이들 각각은 어떤 작업 집합에 대한 전칭 주장이며, 그 작업 집합이 비어 있을 수 있는 순간 정확히 동일한 붕괴에 취약해집니다. 그것이 정직한 부재 때문이든, 범위 설정 결정 때문이든, 검사가 실행되기도 전에 상류에서 집합을 아무것도 없게 축소시키는 무엇 때문이든 마찬가지입니다. 검증 논리 자체는 완벽할 수 있습니다. 그럼에도 공허한 경우는 통과합니다. 실패시킬 대상이 아무것도 남아 있지 않을 때 통과시키는 것이 바로 그 논리가 설계된 목적이기 때문입니다.

채널 용량 논변

같은 착상을 정보이론의 언어로 밀고 나가 봅니다. 그 틀은 이 논변의 후반부, 즉 왜 이것을 하류에서 보완할 수 없는지를 훨씬 더 날카롭게 만들어 주기 때문입니다.

검증 단계의 출력을 하나의 채널로 취급합니다. 이 채널에는 유한한 용량이 있으며, 이는 구별 가능한 기저 상태의 수가 유한하다는 뜻입니다. 통과 또는 실패만 보고하는 시스템의 채널은 정확히 1비트입니다. 그러나 그 보고를 낳을 수 있었던 실제 상태의 공간은 둘보다 큽니다. 최소한 다음이 있습니다. 검사가 실행되었고 대상이 이를 충족한 경우, 검사가 실행되었고 대상이 이를 충족하지 못한 경우, 확인할 것이 없어 검사가 실행되지 않은 경우, 상류의 무언가가 검사에 필요한 입력을 억제하여 검사가 실행되지 않은 경우, 그리고 검사가 저하된 모드로 실행되어 자신이 시험한다고 주장하는 속성을 실제로는 시험할 수 없었던 경우입니다. 이는 최소한 네다섯 가지의 진정으로 구별되는 상태이며, 이것이 둘만 담을 수 있는 채널로 압축됩니다.

여기서 정보이론의 기본 결과는 가차 없습니다. 채널은 애초에 실어 나를 용량이 없었던 정보를 실어 나를 수 없으며, 전송 이후에 무엇을 하더라도 채널 자체가 표현하기에 너무 좁았던 것을 복원할 수는 없습니다. 살아남은 1비트를 사람이 얼마나 신중하게 읽는지, 검토자가 얼마나 노련한지, 같은 보고서를 몇 번이나 다시 읽는지는 아무런 상관이 없습니다. 중요했던 구별들은 그 비트가 생성되기 전에 이미 사라졌습니다. 더 신중한 독해, 더 나은 교육, 두 번째 검토자처럼 출력 쪽에서 작동하는 모든 해결책은 구조적으로 신호를 실어 나를 수 없는 채널에서 그 신호를 재구성하려는 시도입니다. 유효한 유일한 해결책은 압축이 일어나는 지점에서 채널 자체를 넓혀, 평가되지 않음이 채널이 실제로 표현할 수 있고 평가되었으며 이상 없음과 구별할 수 있는 상태가 되도록 하는 것입니다.

이 점은 곱씹어 볼 가치가 있습니다. 대부분의 운영상 해결책이 잘못 짚는 부분이 바로 여기이기 때문입니다. 이상 없음이라는 결과가 실은 아무것도 확인하지 않았다는 뜻일 수 있다고 누군가 지적하면, 본능적으로 주석을 달거나 단서를 붙이거나 한계를 설명하는 각주를 추가하려 합니다. 그러나 각주는 여전히 압축의 하류에 있습니다. 실제로 행동을 좌우하는 채널, 즉 대시보드의 색상, 자동 에스컬레이션, 하류 시스템이 참조하는 필드가 여전히 1비트만 담고 있다면 각주는 장식에 불과합니다. 누군가 그 각주를 읽을 무렵에는 상태들이 이미 병합되어 있습니다.

이 문제가 반복되는 곳과, 매번 동일하게 반복되는 이유

이 패턴은 어떤 시스템이 커버리지나 준수 여부를 이진 또는 이진에 가까운 신호로 보고하는 곳이면 어디서나 나타납니다. 여러 사례를 정확히 짚어 볼 가치가 있습니다. 분야의 용어는 완전히 달라지지만 메커니즘은 매번 동일하기 때문입니다.

자동화된 코드 테스트를 생각해 봅니다. 테스트 스위트는 통과율을 보고합니다. 일정 수의 테스트가 실행되었고 그중 일정 비율이 성공했다는 것입니다. 통과율 100퍼센트는 그 자체만 놓고 보면 옳게도 좋은 소식으로 받아들여집니다. 그러나 실제 로직의 극히 일부만 다루는 사소한 단언 세 개짜리 테스트 스위트도, 모든 분기와 경계 사례를 빠짐없이 다루는 테스트 스위트와 동일한 대표 수치, 즉 100퍼센트 통과를 보고합니다. 둘의 차이는 전적으로 두 번째 수치, 곧 테스트가 시스템의 어느 정도를 실제로 건드렸는지를 측정하는 커버리지에 있습니다. 동등한 시각적 비중으로 나란히 놓인 커버리지 수치 없이 제시되는 통과율은 신뢰감을 주는 옷을 걸친 공허참입니다. 진지한 엔지니어링 조직이 커버리지를 선택적 진단 지표가 아니라 일급 지표로 추적할 것을 고집하는 이유가 바로 이것입니다. 커버리지가 없으면 통과율만으로는 철저한 검증과 실패시킬 대상의 부재를 구별할 수 없습니다.

임상 검사실 검사를 생각해 봅니다. 진단 분석이 음성을 반환합니다. 그 음성은 검체에 검사 대상 분석 대상 물질이 실제로 없었다는 뜻일 수 있으며, 이것이 보고서를 읽는 모든 사람이 가정하는 결과입니다. 그러나 그 음성은 검체가 운송 중에 변질되었거나, 잘못 채취되었거나, 시약이 실패하여 분석 대상 물질이 충분히 존재하더라도 검사가 이를 검출할 수 없었다는 뜻일 수도 있습니다. 잘 설계된 검사실 프로세스에는 내부 대조군이 포함됩니다. 이는 양성이 존재했다면 검사가 실제로 그것을 검출할 수 있었는지를 확인하는 것만이 유일한 역할인 두 번째 측정이며, 바로 음성 결과를 음성 결과의 옷을 입은 무결과와 구별할 수 있게 하기 위한 것입니다. 그러한 내부 대조군이 없는 검사실 프로세스는 구조적으로 코드 테스트 사례와 정확히 동일한 1비트 채널 문제를 안고 있으며, 다만 여기에는 생명이 걸려 있습니다.

재무 감사를 생각해 봅니다. 감사인은 일련의 재무제표에 대해 의견을 표명하며, 적정의견은 감사 업계 밖의 거의 모든 사람에게 these numbers are fine으로 읽힙니다. 그 의견이 실제로 증명하는 바는 상당히 더 좁습니다. 정의된 범위 안에서, 정의된 표본추출 방법론을 사용하여, 중요성 기준을 전제로 할 때, 테스트된 것 중 보고 대상 예외에 해당하는 것이 없었다는 뜻입니다. 범위에서 제외된 거래 유형, 실제로 문제가 된 거래를 배제할 만큼 좁게 정의된 모집단, 또는 우연히 문제 사례를 포함하지 않은 표본은 모두 진정으로 깨끗한 장부가 낳았을 적정의견과 동일한 적정의견을 낳습니다. 감사범위 문단은 바로 이 붕괴를 막기 위해 존재하며, 수십 년의 금융사에 걸쳐 되풀이된 감사 품질 비판의 상당 부분은 결국 독자가 표제 의견을 채널로 취급하고 정작 누락된 비트를 담고 있는 감사범위 문단을 무시한다는 관찰로 귀결됩니다.

이 사례들은 공유된 용어도, 공유된 규제기관도, 공유된 역사도 없는 분야들에서 나옵니다. 세 사례 모두에서 메커니즘이 동일하게 반복된다는 사실은, 이것이 어느 한 분야의 특이점이 아니라 이진 검증 채널 일반의 구조적 성질임을 보여 주는 가장 강력한 증거입니다.

우리 영역에서 이 문제가 반복되는 곳

동일한 구조는 법적 주장이 인용한 법원(法源)이 실제로 존재하고, 여전히 유효하며, 주장된 내용을 뒷받침하는지를 검증하는 구체적 문제에서도 나타납니다. 문서의 인용에 대한 검증 절차는 독자가 실제로 소비하는 수준에서 보면 사실상 하나의 신호에 가까운 것을 산출합니다. citations checked, none broken. 그 신호는 위의 모든 사례와 똑같이 공허한 경우에 취약합니다. 검증이 필요한 인용을 전혀 하지 않는 문서와, 인용 장치가 실질적으로는 존재하지만 서식 변경이나 파서가 찾는 형식 표지를 없애 버리는 환언, 또는 검증 단계가 참조하는 표면적 특징을 제거하는 그 밖의 변형을 통해 기계적 검사에는 보이지 않게 된 문서는 모두 동일한 하류 상태를 산출합니다. 플래그할 것이 없음. 그 상태만 보는 독자는 자신이 보고 있는 것이 근거를 필요로 하는 주장을 하지 않는 문서인지, 아니면 검사기가 볼 수 없는 형태로 근거 없는 주장을 하는 문서인지 상태만으로는 알 수 없습니다.

여기서 이 구별은 다른 대부분의 사례보다 더 중요합니다. 두 경우가 매우 다른 결과를 낳으면서도 압박 속에서 혼동되기 쉽기 때문입니다. 실제로 아무것도 인용하지 않는 짧은 절차적 각서는 위험이 아닙니다. 구속력 있는 법원(法源)에 대한 실질적 주장이 고의로든 우연으로든 검증 가능한 형태를 잃은 경우야말로 검증 단계가 잡아내기 위해 존재하는 바로 그 위험이며, 공허한 붕괴가 감추는 바로 그 경우입니다.

지속 가능한 유일한 해결책은 위의 채널 용량 논변에서 곧바로 따라 나옵니다. 검증 출력은 바로 이 상황을 위해 통과와도 실패와도 분리된, 명시적이고 동등한 비중의 세 번째 상태를 담아야 하며, 그 세 번째 상태는 성공의 조용한 사촌이 아니라 최소한 실패만큼 중요한 것으로 취급되어야 합니다. 검증 불가능한 실질적 법원(法源) 주장을 담은 문서가 검증할 것이 아무것도 없는 문서와 똑같이 읽혀서는 안 됩니다. 신호가 이미 생성되고 소비된 뒤에 붙는 단서가 아니라 신호 자체에 그 구별을 심는 것이, 파이프라인에서 누락된 비트를 아직 복원할 수 있는 유일한 지점입니다. 압축이 아직 일어나지 않은 유일한 지점이기 때문입니다.

일반적 설계 원칙

위의 모든 사례를 일반화하면, 한 문장으로 진술할 수 있을 만큼 단순하면서도 사실상 어떤 검증 아키텍처도 기본값으로는 충족하지 못할 만큼 까다로운 설계 규칙이 나옵니다. 이상 없음이라는 결과를 산출할 수 있는 모든 시스템은, 자신이 평가한 것으로 읽히는 그 대상을 평가하지 않았다는 진술 또한 별개의 동등하게 가시적인 출력으로 산출할 수 있어야 합니다.

이 규칙을 진지하게 받아들이면 세 가지 귀결이 따라 나오며, 그중 어느 것도 선택적 부가물이 아닙니다.

첫째, 평가되지 않음이 검사가 실행되는 지점부터 사람이 요약본을 읽는 지점까지 파이프라인의 어디에서도 평가되었으며 이상 없음과 같은 칸에 조용히 기본값으로 들어가서는 안 됩니다. 데이터가 없을 때 기본값이 할당되는 모든 지점은, 기저 논리를 한 번 고친 뒤에도 이 붕괴가 다시 나타날 수 있는 지점입니다.

둘째, 검사가 대상으로 삼은 모집단 또는 작업 집합은 결과와 동일한 비중으로 기록되고 노출되어야 합니다. 검증 단계의 결과는 그것이 실제로 다룰 수 있었던 대상에 대한 정직한 진술과 함께할 때에만 해석 가능합니다. 무엇이 확인되었는지 그 규모와 구성을 보고하지 않은 채 결과만 보고하는 것은 측정의 절반만 보고하면서 그것을 전체인 양 제시하는 일입니다.

셋째, 그리고 조직 차원에서 가장 내면화하기 어려운 점으로, 작업 집합이 예상 밖으로 줄어들었을 때 이례적으로 깨끗한 결과는 더 적은 것이 아니라 더 많은 검토를 받아야 합니다. 같은 종류의 문서가 통상 포함하는 것보다 확인할 대상이 적은 검증 절차는 그 자체로 하나의 신호이며, 이를 작업 집합이 왜 줄었는지 확인하라는 촉구가 아니라 중립적이거나 안심시키는 것으로 취급하는 것이야말로 공허한 경우가 실무에서 가장 큰 피해를 낳는 경로입니다. 누군가 그렇게 설계해서가 아니라, 문제를 발견하는 일만 하는 시스템은 구조상 한 번도 찾아볼 기회를 갖지 못한 문제의 부재에 대해서는 할 말이 없기 때문입니다.

검증이 자동화될수록 이 문제가 덜해지는 대신 더 시급해지는 이유

마지막으로 명시할 가치가 있는 것은, 어떤 분야에서든 검증 작업이 회의적인 사람의 수작업에서 대규모 자동화 시스템으로 옮겨 갈수록 이 문제가 줄어드는 대신 커지는 이유입니다. 직접 손으로 작업하는 검토자는 검토할 것이 이례적으로 적었을 때 이를 알아차리는 경향이 있습니다. 수작업으로 한다는 것은 작업 집합의 크기를 직접 체감한다는 뜻이기 때문입니다. 자동화는 바로 그 부수적 안전장치를 제거합니다. 같은 검사를 하루에 백만 번 실행하는 파이프라인은 백만 개의 단일 비트를 산출하며, 그 백만 개의 결과 가운데 일부가 진정으로 깨끗한 작업 집합이 아니라 비어 있는 작업 집합에서 나왔다는 사실을 건별로 알아차릴 위치에 있는 사람은 아무도 없습니다. 자동화된 검증을 가치 있게 만드는 바로 그 특성, 즉 사람이 기저 자료를 들여다보지 않고도 깨끗한 신호를 산출하는 능력이, 검토자가 무상으로 제공하던 부수적 점검을 제거하는 바로 그 특성입니다.

이는 검증 자동화에 반대하는 논변이 아닙니다. 위에서 설명한 세 번째 상태를 별도로 그리고 의도적으로 설계하지 않은 채 검증을 자동화하면 공허한 통과 문제를 해결하지 못하는 데 그치지 않는다는 논변입니다. 그것은 이 문제를 조용히 억제하고 있던 마지막 안전장치를 제거하며, 그것도 읽히지 않은 채 신뢰되는 결과의 양이 몇 자릿수나 늘어나는 바로 그 시점에 제거합니다. 신중한 사람이 문서 한 건씩 우연히 흡수해 오던 사각지대는, 누구도 사라진 구별을 의도적으로 다시 만들어 놓지 않는 순간, 자동화 시스템이 건드리는 모든 것의 규모로 작동하는 사각지대가 됩니다.