인정기관 없는 보증: 누구도 검증할 수 없는 상태에서 검증 인프라를 구축하는 법

2026년 7월 7일, 유럽연합 집행위원회는 사이버보안 및 인공지능에 관한 행동 계획(Action Plan on Cybersecurity and Artificial Intelligence, COM(2026) 577 final)을 발표했습니다. Section 2.2에 묻혀 있는 것은 프런티어 AI 모델(frontier AI models)에 대한 유럽 차원의 평가 역량을 구축하겠다는 약속입니다. 이는 모델이 무엇을 할 수 있는지, 제공자의 안전 완화 조치가 실제로 유지되는지를 평가하고, AI Act 및 GPAI Code of Practice의 준수를 지원할 외부 기관을 의미합니다. 이 역량은 별도의 공모를 통해 설립되며, 2027년에 운영을 개시하는 것을 목표로 합니다. 행동 계획은 이 역량이 "신뢰할 수 있고 엄격한 외부 평가 절차"를 보장할 것이라고 약속합니다.출처: COM(2026) 577 final (EUR-Lex)

그 문장에는 각주 20이 붙어 있습니다. 이 각주는 해당 역량이 적합성 평가 기관(conformity assessment body)이 아니며, 준수를 직접 인증하는 것이 아니라 자신의 평가를 통해 준수를 지원할 뿐이라고 명시합니다.

좁게 읽으면 이 각주는 범위를 한정하는 조항입니다. 하나의 패턴으로 읽으면, 단일한 EU 정책 문서보다 훨씬 흔한 무언가를 묘사합니다. 즉, 어떤 보증을 독립적으로 검증 가능하게 만들어 줄 장치가 존재하기도 전에 그 보증을 산출하라고 요구받는 기관의 모습입니다. EU 자체의 인정 인프라에는 프런티어 모델의 역량을 평가하기 위해 준비된 것이 아무것도 없습니다. 관련 경영 시스템 표준인 ISO/IEC 42006은 AI 거버넌스 프로세스를 감사하는 기관을 인증합니다. 이 표준은 모델이 실제로 무엇을 할 수 있는지를 시험하는 기관에 대해서는 아무것도 말하지 않습니다. 프런티어 모델을 위한 평가 과학은 이제 겨우 몇 년 된 분야입니다. 성숙하고 안정된 방법론을 위해 설계된 인정 절차에 이를 억지로 밀어 넣는다면, 성숙할 기회를 갖기도 전에 이를 얼어붙게 만들 것입니다.

따라서 인정 없이 출범하기로 한 결정은 옹호할 수 있습니다. 옹호할 수 없는 것, 그리고 EU 문서가 해결하지 못하는 것은, 이 비공식적 역량이 산출한 결과가 점점 더 중대한 의사결정에 사용되는 동안에도 그 역량 자체는 출범한 날과 똑같이 비공식적인 상태로 남아 있을 때 벌어지는 일입니다. 이 평가가 첨부된 채 규제 당국의 책상에 놓이는 모든 보고서는 그 평가를 더욱 구조적으로 중요하게 만듭니다. 그러나 비공식적 구조에서는 이에 대응해 조정되는 것이 아무것도 없습니다. 어떤 기관은 출범 시점에는 완벽하게 정당할 수 있지만, 그 과정에서 단 하나의 결정도 개별적으로 보아 잘못되어 보이지 않는데도 5년 후에는 구조적으로 책임을 물을 수 없는 기관이 될 수 있습니다.

이것은 하나의 EU 정책 수단에만 국한된 문제가 아닙니다. 이는 빠르게 변화하는 분야에서 거의 모든 새로운 검증 또는 평가 기능이 처한 조건이며, 우리가 구축하고 있는 것 역시 여기에 포함됩니다.

문제의 일반적 형태

EU에 특유한 세부 사항을 걷어내면 패턴은 이렇습니다. 새로운 종류의 주장이 검증을 필요로 하고(이 프런티어 모델이 실제로 안전하게 작동하는가, 이 법률 인용이 실제로 현행법을 반영하는가, 이 AI가 생성한 준수 기록이 실제로 유효한가), 이를 검증하는 누군가를 인증할 만큼 충분히 성숙한 방법론을 갖춘 외부 인정기관은 아직 존재하지 않습니다. 두 가지 선택지가 제시되는데, 둘 다 특정하고 교훈적인 방식으로 잘못되어 있습니다.

첫 번째 잘못된 선택지는 기다리는 것입니다. 방법론을 승인해 줄 인정기관이 존재할 때까지 평가, 검증, 등급 부여를 거부하는 것입니다. 이는 책임감 있게 들리지만 실제로는 직무의 방기입니다. 왜냐하면 아직 존재하지 않는 인정기관은, 연구하고 비판하며 궁극적으로 표준화할 수 있는 평가 실무의 축적 없이는 생겨날 수 없기 때문입니다. 인정 제도는 실제 평가자들이 여러 해에 걸쳐 실제 판단(잘못된 판단을 포함하여)을 내리는 것을 지켜보면서 구축됩니다. 그 과정이 이미 다른 곳에서 일어날 때까지 아무것도 평가하기를 거부한다는 것은, 결국 다른 누군가의 비공식적 평가 실무가 사실상의 표준이 되는 동안 자신의 것은 이론에 머무른다는 뜻일 뿐입니다.

두 번째 잘못된 선택지, 그리고 더 흔한 선택지는, 어쨌든 평가를 하되 그 산출물이 마치 인정기관이 뒤를 받쳐 주는 것과 똑같이 권위 있어 보이도록 두는 것입니다. 점수, 명명된 방법론, 깔끔한 합격 또는 불합격이 담긴 보고서는, 그것이 오랜 검증을 거친 인정 제도에서 나왔든 여섯 달 전에 자체 평가 기준을 만들어 낸 팀에서 나왔든, 하류의 의사결정자에게는 똑같이 읽힙니다. 평가 보고서의 시각적, 수사적 형식 그 어떤 것도 그것이 실제로 얼마나 많은 인식론적 무게를 감당할 수 있는지를 알려 주지 않습니다. 이것이야말로 중요한 실패 양상입니다. 왜냐하면 이는 외부에서는 보이지 않고 내부에서는 편안하기 때문입니다. 아무도 거짓말을 할 필요가 없습니다. 평가자는 완전히 진실할 수 있으면서도, 자신의 프로세스가 뒷받침할 수 있는 수준을 훨씬 넘어서 의존되는 무언가를 산출할 수 있습니다. 단지 그 보고서가 실제로 압박 시험을 거친 것과 실제 제약 아래에서 합리적으로 내린 최선의 추측을 구분하지 않기 때문입니다.

정직한 세 번째 선택지, 이 글이 다루는 선택지는, 지금 평가하되 자신이 갖지 못한 권위의 외양을 거부하고, 인정기관이 대신 해 주기를 기다리지 않고도 누구나 언제든 자신의 프로세스를 감사할 수 있게 해 주는 구체적인 규율을 구축하는 것입니다.

단일한 신뢰도 숫자가 정당하지 않은 신뢰가 되는 지점인 이유

비공식적 평가가 조용히 과도하게 의존되는 메커니즘은 거의 언제나 동일한 설계 선택을 통해 작동합니다. 즉, 구조적으로 서로 다른 두 가지 인식론적 상태를 하나의 산출물로 뭉개는 것입니다.

첫 번째 상태는 외부의 검증 가능한 무언가에 대조하여 확인된 주장입니다. 인용이 주장된 내용을 실제로 담고 있으며 여전히 유효한 실제 출처로 해소되는 경우, 모델의 행동이 문서화된 시험에 대조하여 통제된 조건에서 재현되는 경우, 준수 기록이 실측 자료(ground truth) 로그에 교차 검증되는 경우가 이에 해당합니다. 두 번째 상태는 진정한 불확실성 아래에서 내린 판단입니다. 합리적인 전문가들이 견해를 달리할 해석, 근본 방법론이 오류율을 알 수 있을 만큼 충분한 사례에 대해 아직 검증되지 않은 경우, 평가자가 내부적으로 표시해 두었으나 확정된 답이 아니라 최선의 추측으로 해결한 경계 사례가 이에 해당합니다.

두 상태 모두 시간과 자원의 제약 아래에서 실제 평가 작업을 수행하는 데 있어 정당한 부분입니다. 실패는 이 둘을 동일하게 발표하는 것입니다. 단일한 점수, 단일한 합격 또는 불합격, 단일한 신뢰도 백분율은, 하류의 독자가 그 결과에 얼마만큼의 무게를 두어야 할지 보정하는 데 필요한 구분을 지워 버립니다. 그리고 두 번째 상태의 작업은 흔히 첫 번째 상태의 작업과 똑같이 보이고 똑같이 읽히기 때문에, 일단 동일한 형식으로 표현되고 나면, 이를 정직하게 유지하는 데 필요한 규율은 그것이 가장 필요한 바로 그 순간에 사라집니다. 즉, 단호해 보여야 한다는 압박, 검토를 마무리해야 한다는 압박, 고객이나 규제 당국에게 유보가 달린 답이 아니라 깔끔한 답을 주어야 한다는 압박 아래에서 말입니다.

이것은 가정에 불과한 실패 양상이 아닙니다. 이는 상업적 또는 정치적 압박 아래에 있는 대부분의 평가 및 등급 부여 기능의 기본 행태입니다. 왜냐하면 "확인됨"과 "진정으로 미해결이며, 그 이유는 다음과 같음"을 시각적으로 구분되는 두 섹션에 담은 보고서는, 하나의 깔끔한 숫자를 보고하는 보고서보다 덜 권위 있게 읽히기 때문입니다. 비록 전자가 더 정직하고, 시간이 지날수록 둘 중 더 신뢰할 만한 것임에도 그렇습니다.

아직 갖지 못한 인정기관을 대신하는 규율

인정을 이용할 수 없다면, 그 대안은 엄격함을 줄이는 것이 아닙니다. 그것은 인정기관의 일을 스스로에게 수행하는 엄격함이며, 인정기관의 제도적 지위 없이도 외부의 누구나 인정기관이 수행했을 검증을 수행할 수 있을 만큼 충분히 가시적으로 만드는 엄격함입니다.

확인된 것과 미해결된 것을 각주가 아니라 구조적 산출물로 분리하십시오. 모든 평가 결과는 그 내용과 나란히 명시적이고 일급의 상태를 지녀야 합니다. 즉, 이것은 외부의 검증 가능한 실측 자료에 대조하여 확인되었고 통과했다, 이것은 진정한 모호성 아래에서 내린 판단이며 명시된 이유로 이렇게 해결되었다, 이것은 방법론이 아직 다루지 못하는 알려진 공백이다와 같이 말입니다. 이것들은 동일한 점수의 등급 차이가 아닙니다. 이것들은 서로 다른 종류의 주장이며, 이를 하나의 숫자로 뭉개는 것이야말로 비공식적 평가가 실제로 뒷받침할 수 있는 수준을 조용히 넘어서게 만드는 바로 그 설계 선택입니다. 보고서를 확인된 주장만으로 걸러 낼 수 있는 독자는, 총합을 신뢰해야만 하는 독자와는 진정으로 다르고 더 방어 가능한 문서를 갖게 됩니다.

방법론을 일회성 설명이 아니라 버전이 관리되는 산출물로 발표하십시오. 인정기관의 진정한 기능은 단일한 평가를 승인하는 것보다 평가자의 기준이 시간에 따라 어떻게 변하는지를 추적하고 드리프트(drift)를 포착하는 데 있습니다. 인정기관이 없는 상태에서 그 추적은 스스로 부과하고 공개해야 합니다. 즉, 평가 수행 방식에 대한 모든 실질적 변경에는 버전 번호, 변경 이력 항목, 날짜가 부여되어, 18개월 전의 결과를 감사하는 누구든 어떤 방법론이 그 결과를 산출했는지, 그리고 그 방법론이 이후 어떻게 개정되었는지를 정확히 볼 수 있어야 합니다. 정적이고 날짜가 없는 방법론 문서는 평가자의 기준이 상업적 압박 아래에서 조용히 침식되도록 두면서도 누구도 그것이 일어났음을 입증할 수 없게 만듭니다.

주장을 반증 가능할 만큼 좁게 유지하십시오. 주장이 넓을수록 누구도 그것을 검증할 수 없습니다. "이 AI 시스템은 신뢰할 수 있다"는 외부 당사자가 검증하거나 반박할 수 없습니다. 이는 평가로 위장한 후광 진술입니다. 반면 "이 특정 산출물의 인용은 이 특정 출처로 해소되며, 그 출처는 이 날짜 현재 유효했고, 근본 등록부의 이 특정 버전에 대조하여 검증되었다"는 그 등록부에 접근할 수 있는 누구든, 평가자의 제도적 지위에 대한 어떤 신뢰와도 무관하게 검증할 수 있습니다. 인정 없이 운영되는 모든 평가 역량은 각 주장이 평가자를 신뢰할 이유가 전혀 없는 당사자에 의해 독립적으로 검증 가능해질 때까지 자신의 주장을 좁혀 가야 합니다. 주장의 넓이야말로 책임을 물을 수 없는 권위가 숨는 곳입니다.

적대적 자기 시험을 일회성 감사가 아니라 상시적 관행으로 채택하십시오. 여러분의 방법론을 깨뜨리려 시도할 외부 인정기관이 없으므로, 그 역할은 내부적으로 채워져야 하며, 프로세스를 방어하는 것이 아니라 실패를 찾아내는 것이 유인이 되는 사람들이 채워야 합니다. 이는 평가를 가장 난처하게 만들 가능성이 큰 사례들을 의도적으로 찾아내고, 성공률과 나란히 실패율을 발표하며, 확증하는 사례보다 반증하는 사례를 더 가치 있는 산출물로 취급함을 의미합니다. 자신의 성공만을 보고하는 평가 역량은 인정기관의 일을 스스로에게 수행하는 것이 아닙니다. 그것은 마케팅을 하는 것입니다.

비공식적 기간을 끝내는 조건을 사전에, 그리고 공개적으로 명명하십시오. EU 자체의 각주 20에서 얻는 가장 명확한 교훈은, 날짜가 정해지지 않은 채 방치된 비공식성은 결정에 의해서가 아니라 기본값으로 영구화된다는 것입니다. 이에 대한 교정책은, 외부 압박이 이 질문을 강요하기 전에, 이 평가 역량이 기본값으로 계속 비공식적으로 운영되는 대신 정식 인정이나 외부 검증을 적극적으로 추구하기 위해서는 무엇이 참이어야 하는지, 검증된 사례가 어느 정도의 양이어야 하는지, 방법론적 성숙도가 어느 수준이어야 하는지, 어떤 독립적 재현이 있어야 하는지를 명시적으로 진술하는 것입니다. 그 조건을 공개적으로 설정하는 것이야말로, 그것을 정식화할 권한을 지닌 누구도 그렇게 하지 않은 데 대해 책임질 필요가 없었다는 단지 그 이유만으로 비공식적 역량이 영구적이고 책임을 물을 수 없는 것이 되는 것을 막아 줍니다.

이것이 해결하지 못하는 것

위의 어느 것도, 일단 진정한 인정이 이용 가능해지면 그것을 대신할 수 있는 것은 아닙니다. 스스로 시행하는 엄격함에는 축소 불가능한 한계가 있습니다. 평가자는 여전히 자신의 숙제를 스스로 채점하고 있으며, 아무리 양심적으로 정직한 평가자라도 독립적 당사자가 수행하는 기능을 완전히 대체할 수는 없습니다. 바로 독립성이야말로 자기 시행이 산출할 수 없는 유일한 속성이기 때문입니다. 위의 규율들은 다리이지 목적지가 아닙니다. 이것들을 영원히 충분하다고 여기는 것이야말로 A-LIGN의 전략 및 혁신 담당 부사장이자 ISO/IEC JTC1/SC42의 위원인 Patrick Sullivan(Patrick Sullivan, VP of Strategy and Innovation at A-LIGN)이 COM(2026) 577 final의 각주 20에 대한 자신의 해석에서 경고하는 바로 그 실패를, 한 단계 아래에 적용한 것입니다. 즉, 훌륭한 내부 엄격함을 구축하고 나서 내부 버전이 충분하게 느껴지자 외부 인정을 더 이상 밀어붙이지 않는 평가자는, EU 문서가 무릅쓰는 것과 동일한, 비공식적이지만 구조적으로 중요한 함정을 단지 더 나은 내부 설계와 함께 재현한 것입니다.

다리를 놓는 규율이 정직한지를 가르는 시험은, 그것이 스스로를 쓸모없게 만들기 위해 적극적으로 노력하고 있는지 여부입니다. 즉, 자신의 기능을 진정한 인정기관에 넘기고 물러설 조건을 공개적으로 추적하고 있는지 여부입니다. 그날이 오기를 바라기를 조용히 그만둔 평가 역량은 더 이상 다리이기를 멈추고, Sullivan이 경고하는 바로 그 비공식적이지만 구조적으로 중요한 기관이 되었을 뿐이며, 단지 더 나은 문서화를 갖추고 있을 따름입니다.