검증되었다는 것은 방어가능하다는 것과 다르다

우리가 최근 발표한 글은 법률 AI에서 "검증"이라는 것이 동시에 세 가지 서로 다른 일을 하고 있다고 주장했습니다. 공개(출력물에 라벨을 붙였는가), 신뢰도 점수화(판정 모델 자신의 확신이 유지되는가), 그리고 출처 검증(특정 주장이 특정한 실재 문서와 일치하는가)입니다. 그 논지는, 업계의 거의 모든 에너지가 앞의 두 가지에 쏠려 있고 세 번째에는 거의 투입되지 않는다는 것이었습니다. 세 번째만이 범용 판정 모델이 아니라 실제 도메인 코퍼스를 필요로 하기 때문입니다.출처: Everyone Is Verifying Legal AI (three layers)

댓글란에서는 한 편의 글이 좀처럼 하지 못하는 일이 벌어졌습니다. 논의가 끝난 뒤에도 계속 논쟁이 이어졌고, 그 글이 결코 명명하지 않았던 네 번째 층위로 수렴해 갔습니다. Adel Kildeev(아델 킬데예프)가 포문을 열었습니다. 검증은 책임을 종결시키지 않으며, 자격을 갖춘 전문가가 1차 출처를 독립적으로 직접 읽고 그 결정에 대한 소유권을 지기 전에 거치는 하나의 증거적 단계일 뿐이라는 것입니다. Marco Rossi(마르코 로시)는 이를 세 글자로 명명했습니다. LITL, lawyer in the loop입니다. Itamar Rosen(이타마르 로젠)은 질문을 한층 더 날카롭게 벼렸습니다. 조종사는 오토파일럿을 작동시킬 때마다 승객에게 일일이 알려야 하는가, 아니면 승객이 실제로 필요로 하는 것은 다른 무엇, 즉 훈련되고 책임을 지는 조종사와 문제가 생겼을 때 무슨 일이 있었는지 재구성해 주는 블랙박스인가.

그런 다음 Arkadiy Miteiko(아르카디 미테이코)는 그 글 바로 아래에 직접 답하면서 그 발상 전체를 한 줄로 압축했습니다. "연산적 정확성은 제도적 유효성이 아니다." 그 밑에 깔린 요점은, 올바르게 출처가 확인된 주장이라도 누가, 어떤 권한 아래에서, 어떤 사안을 위해, 어느 시점에 그것에 의존하느냐에 따라 여전히 실패할 수 있다는 것, 그리고 법률 AI에 대한 신뢰는 인용이 존재한다는 사실보다는 결과에 영향을 미치는 모든 사용을 사후에 재구성하고 정당화할 수 있는 능력에서 더 많이 나온다는 것입니다.

이것은 출처 검증을 다른 단어로 다시 말한 것이 아닙니다. 이것은 네 번째의, 별개의 축이며, 그것을 뒷받침하는 이름과 축적된 작업이 있습니다. Ignacio Adrian Lerer, 즉 시스템의 출력물과 그것을 뒷받침할 수 있는 제도의 능력 사이의 바로 그 경계에 대해 글을 쓰는 회사법 변호사이자 독립이사입니다.

Lerer가 거듭 그어 온 경계

자율적 기업 의사결정 시스템을 둘러싼 Argentina의 계류 중인 개혁, 즉 Ley General de Sociedades(회사법)에 자율적 기업 형태를 도입하려는 논의의 일부에 관한 최근의 글에서, Lerer는 문제 전체를 다시 틀 짓습니다. 그는 어떤 시스템이 법인격(legal personhood)을 가질 수 있는가보다는, 더 좁고 더 어려운 문제에 관심을 둡니다. 자율적 시스템이 아무도 명시적으로 승인하지 않은 무언가를 했을 때, 그것은 누구의 결정이었는가. 그의 답은 하나로 취급되지만 그래서는 안 되는 두 가지 역할을 분리합니다. 시스템을 설정하고, 그 파라미터를 선택하고, 그것이 무엇을 하도록 권한을 부여받았는지를 정의한 자는, 그 설정 안에서 자율적으로 행동한 자, 혹은 그 무엇과는 서로 다른 행위에 대해 답하는 것입니다. 이 둘을 같은 행위자로 취급하면, 설정 결정이 자율적 결정 뒤에 숨도록 허용하거나, 아니면 사전에 아무도 그것에 대비해 구성할 수 없었던 행위에 대해 누군가에게 책임을 묻게 됩니다. 그는 이 제안을 의도적으로 Argentina의 헌법 제19조에 근거 짓습니다. 시스템이 무언가를 결정한 내부 단계가 아니라, 그 시스템이 해를 끼쳤을 때 벌어지는 일을 규율하라는 것입니다. 과정에 대한 통제가 아니라 결과에 대한 통제입니다.출처: Ignacio Adrián Lerer, on the SCBA AI framework (Abogados.com.ar) · Argentina's "sociedad automatizada" reform (Infobae)

그 구분, 즉 configurator 대 executor는 "방어가능하다"는 것이 실제로 무엇을 의미하는지를 나타내는 가장 명료한 프레임입니다. 검증된 주장은 executor가 실재하는 출처와 일치하는 무언가를 산출했다는 사실을 알려 줍니다. 그러나 그 특정한 의존 행위가 그 순간에, 그 사안을 위해, 그 권한(mandate) 아래에서 configurator가 실제로 권한을 부여한 경계 안에서 일어났는지에 대해서는 아무것도 알려 주지 않습니다. 이것들은 서로 다른 질문이며, 그중 하나만이 인용을 확인함으로써 답해집니다.

구체적인 지점: 그 추론을 설명하지 못하는 전문가 증인

Buenos Aires주 대법원이 방금 승인한 사법 AI 프레임워크에 관한 Lerer의 또 다른 관련 글은, 그 동일한 구분을 이론이 아니라 구체적인 것으로 만듭니다. 그 규정은 AI 보조 사법 업무에 대해 "유의미한" 인간의 감독을 요구하지만, 그것이 실무에서 무엇을 의미하는지는 결코 정의하지 않습니다. 구속력 있는 규칙 안에 놓인 열린 문턱인 셈입니다. 그가 드는 예시는 그 모호함을 그 자체로 꿰뚫습니다. 법원이 선임한 전문가가 AI가 초안을 작성한 보고서를 그 추론을 진정으로 따라가지 않은 채 승인해 버리면, 상대측 변호인이 증언대에서 질문을 시작하는 순간 실제 문제에 봉착합니다. 이 문제는 그 보고서의 인용이 확인되는지와는 아무 상관이 없는 문제입니다. 반대신문(cross-examination)에서 실제로 시험받는 것은 대심적 보장, 즉 적대적 질문에 맞서 자신의 결론을 방어하는 전문가 자신의 능력이지, 그 보고서가 인용한 내용의 정확성이 아닙니다. 같은 규정은, 같은 호흡으로, AI가 생성한 인용을 확인하는 일을 사법 직원에게 의무로 부과합니다. 두 요건이 하나의 규칙 안에 나란히 놓여 있습니다. 그중 하나만이 확인을 실행함으로써 충족될 수 있습니다.출처: SCBA AI framework, Resolución SC 1.719/26 (Diario Judicial) · SCBA official note

정확히 명명할 가치가 있는 패턴은 이것입니다. 올바르게 출처가 확인된 주장이라도, 왜 그것에 의존했는지 재구성하지 못하는 사람에게 넘겨지면 여전히 책임 부담이 됩니다. 반대로 검증되지 않은 더 약한 주장이라도, 그 사람이 온전히 이해하고, 설명할 수 있으며, 소유권을 지는 것이라면, 출처가 확인된 주장이 견디지 못하는 검토를 견뎌 낼 수도 있습니다. 대심적 절차에서의 검토는 인용의 존재가 아니라 그 인간의 권한과 이해를 시험하기 때문입니다.

방어가능성이 기계적으로 실제로 요구하는 것

출처 검증이 실제 코퍼스, 즉 특정 주장을 특정 문서에 결부시키는 방법을 필요로 한다면, 방어가능성은 그와는 다른, 더 어려운 것들의 묶음을 필요로 합니다.

역할뿐 아니라 한 순간에 결부된 권한. AI 보조 출력물에 의존할 자격(standing)은 직함의 영구적 속성이 아니라, 시점에 특정되고 위임(mandate)에 특정됩니다. 어떤 인용이 실재한다는 것을 검증하는 일은, 그것을 원용하는 사람이 이 사안을 위해, 그 사안의 이 단계에서, 자신의 의존이 함의하는 권한을 현재 보유하고 있는지에 대해서는 아무것도 말해 주지 않습니다. Lerer의 구성자-실행자 구분은 그 실패 양상을 정밀하게 만듭니다. 질문은 결코 단지 "시스템이 올바르게 행동했는가"가 아니라, "이 특정한 의존 행위가 그 구성이 실제로 권한을 부여한 범위 안에 있었는가"입니다. 위임이 소멸하기 전에는 유효했던 서명이 그 이후에도 자동으로 유효한 것은 아닙니다. 한 범주의 사안에 대해 권한을 부여받은 도구가, 단지 아무도 다시 확인하지 않았다는 이유만으로 인접한 범주로 권한을 이어 가지는 않습니다.

결론이 승인된 것뿐 아니라 추론이 보존된 것. 전문가에게 인용이 첨부된 최종 답을 건네주는 시스템은, 그 사람이 그것을 산출한 추론을 흡수하지 않은 채 결론을 승인하도록 허용합니다. 반대신문은 결론을 시험하지 않습니다. 그것은 추론을, 압박 아래에서, 실시간으로, 허점을 찾아내는 것이 임무인 사람으로부터 시험합니다. 방어가능성을 위해 설계된 워크플로는, 인간이 인용이 확인된 최종 출력물을 받아들이는 것과는 구별되는 별개의 단계로서, 추론의 사슬 자체를 직접 짚어 나가고 확인하도록 강제해야 합니다. 그 둘은 같은 검토 행위가 아니며, 그중 하나만이 그것에 대해 질문받았을 때 견뎌 낼 수 있는 사람을 만들어 내기 때문입니다.

기록은 확인이 실행되었다는 사실을 로그로 남기는 데 그치지 않고, 책임 있는 행위자를 지목해야 합니다. 특정 순간에 오토파일럿이 작동되었음은 보여 주지만 그 순간에 어느 조종사가 지휘를 맡고 책임을 지고 있었는지는 보여 주지 못하는 비행 기록 장치는, 문제가 생겼을 때 중요한 부분을 빠뜨리고 있는 것입니다. 법률 AI에서의 동등한 실패는, "verification passed"를 로그로 남기면서도 그 통과를, 특정 권한 아래에서, 특정 날짜에, 그것을 검토하고 나중에 그 결정에 대해 질문받을 수 있는 특정 인물에게 결부시키지 않는 시스템입니다. 검증은 어떤 주장에 관한 사실을 산출합니다. 방어가능성은 그 시점에, 어떤 사람이 그 주장과 맺는 관계에 관한 사실을 요구합니다.

정의되지 않은 감독 기준은 가설이 아니라 현존하는 공백입니다. "유의미한 인간의 감독"에 관한 Lerer의 지적은 규제 입안에 대한 추상적 비판이 아닙니다. 그것은 지금 이 순간 존재하며 구속력이 있지만 아무도 그 기준을 실무화하지 않은 규칙에 대한 묘사입니다. 형식적인 승인 도장, 즉 승인을 클릭하는 5초는, 감독이 얼마나 있어야 하는지를 결코 말하지 않는 규칙 아래에서 "인간이 이것을 감독했다"를 기술적으로 충족시키면서도, 그 규칙이 산출하고자 하는 방어가능성은 전혀 제공하지 않습니다. "human in the loop"를 하나의 통제 장치로 내세우는 어떤 시스템이든, 견뎌 낼 만한 감독과 그렇지 못한 감독을 구체적으로 무엇이 구분하는지를 말할 수 있어야 합니다. 규칙이 대개 그것을 말하지 않기 때문이며, 그 공백은 이미 무언가가 잘못된 뒤에 질문을 던지는 사람에게 기본값으로 떠넘겨지기 때문입니다.

이것이 왜 검증으로 붕괴되지 않는가

방어가능성이 결국 다른 이름을 쓴 출처 검증, 즉 같은 파이프라인에 추가할 하나의 하위 확인에 불과한 것으로 드러난다면 깔끔하기야 할 것입니다. 그러나 그렇지 않으며, 그렇게 취급하는 것은 실제 요점을 잃는 일입니다. 출처 검증은 규제 당국이나 상대방, 감사인이 내용에 대해 던지는 질문에 답합니다. 이 주장이 현실과 일치하는가. 방어가능성은 법원이나 재판부, 이사회가 사람에 대해 던지는 질문에 답합니다. 당신은 여기서, 지금, 이것에 의존할 자격과 이해를 갖추고 있었는가, 그리고 그 과정을 제시할 수 있는가. 어떤 시스템은 완벽하게 검증된 주장을 산출하고도 두 번째 질문에서 완전히 실패할 수 있고, 어떤 시스템은 더 약한 무언가를 산출하고도 그 질문을 온전히 견뎌 낼 수 있습니다. 두 번째 질문은 애초에 그 주장에 관한 것이 아니었기 때문입니다.

그것이 또한 그 해법이 점수화 파이프라인처럼 보이지 않는 이유입니다. 검증은 처음부터 끝까지 자동화될 수 있습니다. 그것은 어떤 문서를 다른 문서에 대조한 속성이기 때문입니다. 방어가능성은 같은 방식으로 자동화될 수 없습니다. 그것은 특정 인간이 특정 결정과 맺는 관계의 속성이며, 아키텍처가 할 수 있는 최대치는 그 관계를 전제된 것이 아니라 재구성 가능한 것으로 만드는 일이기 때문입니다. 아키텍처가 보장할 수 있는 것은, 추론이 형식적 도장 찍기가 아니라 실제로 짚어 나가졌다는 것, 기록이 누가 어떤 권한 아래에서 무엇을 결정했는지를 지목한다는 것, 그리고 무엇이 충분한 감독으로 간주되는지에 관한 공백이 체크박스로 덮어 가려지는 대신 확정지어야 할 열린 질문으로 다루어진다는 것입니다.

이 가운데 어느 것도 첫 글이 올라갈 때 두 번째 글로 기획된 것은 아니었습니다. 이것은 실제 댓글 스레드에서, 실시간으로, 원래 초안보다 논지를 더 멀리 밀어붙인 사람들로부터 나왔습니다. 논지를 공개적으로, 그것을 사용하게 될 사람들과 함께 세워 나가는 것은 낯선 방식이지만, 닫힌 방에서였다면 나오지 못했을 더 날카로운 구분을 만들어 냈습니다. 그리고 정직한 태도는 그렇다고 말하는 것입니다.