모두가 법률 AI를 검증하고 있습니다. 그러나 그것을 실재하는 무언가에 비추어 검증하는 곳은 거의 없습니다.

이번 주에 우리는 서로 무관한 세 건의 대화를 나누게 되었는데, 세 대화 모두 '검증'이라는 같은 단어를 사용하면서 서로 다른 세 가지를 의미했습니다. 하나는 AI 출력물을 rubric(채점 기준)에 비추어 평가하는 플랫폼과의 대화였습니다. 다른 하나는 Stanford, Berkeley, NVIDIA에서 나온 한 논문에서 출발했으며, 우리가 구독하는 한 리걸테크 뉴스레터가 이를 예리하게 분석했습니다. 또 하나는 EU AI법의 다음 규정 준수 기한에 관한 것으로, 이 글을 쓰는 시점 기준 11일 앞으로 다가와 있었습니다. 나란히 놓고 보면, 이 세 대화는 업계가 계속 하나의 단어로 뭉뚱그리는 세 개의 별개 계층에 거의 완벽하게 대응합니다. 그리고 이 셋을 뭉뚱그리는 대가가 가장 큰 영역이 바로 법률입니다. 확신에 찬 채 틀리는 것의 대가가 존재하지 않는 인용이거나 메모가 말하는 바와 다른 holding이기 때문입니다.

먼저 그 분류 체계를 제시하고, 그다음 기술적인 부분을 다루겠습니다. 즉, 세 번째 계층을 구축하는 데 실제로 무엇이 필요한지입니다. 이 계층은 거의 아무도 구축하지 않는데, 셋 중 가장 일반화하기 어렵고 가장 비용이 많이 들기 때문입니다.

사람들이 "검증"이라고 부르는 세 가지

공개 검증. 사용자에게 지금 상대하는 것이 사람이 아니라 시스템임을 알렸는가. 합성 콘텐츠에 표시를 했는가. 직원들에게 그들이 사용하는 도구의 위험성을 교육했는가. 이는 AI법의 제4조(AI 리터러시, 2025년 2월 2일부터 적용)와 제50조(투명성, 2026년 8월 2일부터 시행)에 대응합니다. 이는 실재하며 선택 사항이 아닙니다. 그리고 바로 기저의 출력물이 올바른지 여부를 누구도 확인할 필요가 없기 때문에 시장 규모에서 감사가 가능합니다. 규제 당국은 교육 프로그램이 실제로 이루어졌음을 확인할 수 있습니다. 그러나 규제 당국은 시장 전체에 걸쳐 특정 법률 분석이 옳았는지를 확인할 수는 없습니다.출처: EU AI법 (Reg. (EU) 2024/1689)

신뢰도 검증. 한 LLM이 다른 LLM의 출력물을 rubric에 비추어 채점하고 점수를 반환합니다. 이것은 현재 가장 빠르게 움직이는 계층이며, 실제로 개선되고 있습니다. 최근의 흥미로운 진전은 LLM-as-a-Verifier(Kwok et al., Stanford, Berkeley, NVIDIA, arxiv.org/abs/2607.05391)라는 논문인데, 이 논문은 표준 심판 모델이 후보를 5점 척도로 채점하라는 요청을 받으면 단일 정수를 내놓는 순간 자기 신호의 거의 전부를 버린다는 사실을 밝혀냈습니다. 그 정수 아래에는 가능한 모든 점수에 걸친 완전한 확률 분포가 자리 잡고 있으며, 반올림된 출력 대신 그 분포를 읽으면 거칠고 동점이 나기 쉬운 심판이 훨씬 더 예리한 심판으로 바뀝니다. 어려운 코딩 벤치마크에서 이산적 심판은 두 후보를 26.7퍼센트의 확률로 동점 처리합니다. 대신 연속적 기댓값을 읽으면 같은 벤치마크에서 동점이 0건 나오며, 저자들이 해부한 한 적대적 사례, 즉 이산적 심판이 100번 중 88번 놓친 미묘한 검증 부정 행위를 연속적 방식은 과반의 경우 올바르게 잡아내고, 채점 척도가 더 세밀해질수록 그 비율이 높아집니다.출처: LLM-as-a-Verifier (Kwok et al., arXiv:2607.05391)

이는 실질적이고 유용한 진전이며, 추가하는 데 비용이 전혀 들지 않습니다. 별도의 학습도 필요 없고, 이미 실행 중인 모델이 계산하는 logits를 다르게 읽기만 하면 됩니다. 그러나 이 논문의 벤치마크들은 저자들이 솔직하게 인정하는 한 가지 속성을 공유합니다. 각 벤치마크에는 확실한 정답 키, 즉 깔끔하게 판가름되는 숨겨진 테스트가 딸려 있다는 점입니다. 물체를 잡거나 잡지 못하거나 둘 중 하나인 로봇과 같습니다. 뉴스레터 The LegalTech Overlap을 집필하는 Marco Rossi는 그 경계를 가져다가, 이 기법이 변호사의 책상에서 자리를 얻을 수 있는 지점을 가리는 자신만의 네 가지 질문 테스트를 만들었으며, 그 출발점은 애초에 해당 작업에 확인 가능한 '올바름'의 개념이 있는지 여부였습니다. 그것이 없는 경우, 매끄럽고 확신에 찬 점수는 정직한 동점보다 나은 것이 아닙니다. Rossi의 틀에서 그러한 숫자는 다툼의 여지가 있는 판단을 "the costume of a measurement"으로 치장하여, 실제로는 결코 측정된 적 없는 것을 독자가 신뢰하도록 유도합니다. 그가 주저 없이 자신의 네 관문을 모두 통과한다고 꼽은 유일한 사례는, 법률 메모의 인용이 실제로 존재하며 인용된 목적을 실제로 뒷받침하는지 확인하는 일입니다.

출처 검증. 눈앞에 놓인 특정 사실적 또는 법률적 주장이 실재하고 확인 가능하며 최신이고 관할권에 맞는 특정 출처와 일치하는가. 이것은 셋 중 가장 범위가 좁고, 구축하기가 가장 어려우며, 가장 일반화하기 어려운 계층입니다. 범용 심판이 아니라 실제 도메인 corpus(말뭉치)가 필요하기 때문입니다. 또한 이 계층은 공개 검증도 신뢰도 평가도 전혀 건드리지 못하는 계층입니다.

출처 검증에 실제로 필요한 것

이 부분은 말로 가리키기는 쉽지만 구축하기는 어렵습니다. 그래서 실제로, 기계적으로 무엇이 필요한지 제시하겠습니다.

실재하고 최신이며 관할권에 맞는 corpus. 인용을 모델이 기억하는 내용에 비추어 검증할 수는 없습니다. 모델이 기억하는 내용이야말로 애초에 환각을 만들어 낸 바로 그것이기 때문입니다. 검색 가능한 실제 1차 출처 텍스트, 즉 법령과 판례의 집합이 필요하며, 이는 최신이어야 하고(작년에 폐지된 조항은 오늘의 법에 관한 주장을 뒷받침할 수 없으므로, corpus에는 정적인 스냅숏이 아니라 시간적 차원이 필요합니다) 관할권에 맞아야 합니다(동일한 법리가 관할권마다 다른 것을 의미하며, 어느 한 관할권의 규칙을 마치 보편적인 것처럼 소리 없이 기본값으로 삼는 것은 그 자체로 조용한 실패 양식입니다. 이는 테스트 데이터가 우연히 시스템이 처음 구축된 곳으로 치우칠 때 놓치기 쉽습니다).

holding 일치이지, 벡터 근접성이 아닙니다. 검색은 올바른 인근 지점까지 데려다줍니다. embedding(임베딩) 유사도는 눈앞의 주장과 주제상 인접한, 실재하는 사건을 기꺼이 건네주지만, 주제상의 인접성은 그 사건이 인용된 목적대로 실제로 말하고 있다는 것과 같지 않습니다. 인용이 진짜 판결을 가리키면서도 그 holding을 잘못 기술할 수 있으며, 이 실패 양식은 존재 여부 확인을 깔끔하게 통과합니다. 이 때문에 그것은 날조된 사건보다 더 위험합니다. 날조된 사건은 적어도 때때로 단순한 존재 검색으로 잡아낼 수 있기 때문입니다. 두 번째의 독립적 확인은 그럴듯한 무언가가 근처에 나타났다는 것을 확인하는 데 그치지 않고, 특정 주장을 특정 출처 텍스트에 결부시켜야 합니다.

독립적 감사이지, 자가 채점이 아닙니다. 답을 생성하는 과정은 그 답이 올바른지 묻기에는 구조적으로 부적합한 과정입니다. 인용을 지어낼 만큼 확신에 찬 모델이 후속 질문을 받았다고 해서 갑자기 자기 출력물에 더 회의적이 되지는 않습니다. 이것이 생성과 검증을 두 개의 독립적 패스로 분리해야 하는 진정한 논거입니다. 한 모델이 자기 숙제를 스스로 채점하는 것이 아니라, 서로 진정으로 이견을 내도록 만들어진 두 과정이며, 여기서 두 번째 과정의 임무 전체는 첫 번째 과정의 주장을 확인하는 것이 아니라 깨뜨리려 시도하는 것입니다.

분해하되, 한 번 설계하고 마는 것이 아니라 적대적으로 테스트해야 합니다. '이 인용이 올바른가'라는 하나의 모호한 질문 속에는 더 좁고 진정으로 확인 가능한 여러 질문이 숨어 있습니다. 즉, 인용된 근거가 존재하는가, 날짜가 일치하는가, 금액이 일치하는가, holding이 주장된 내용을 실제로 말하고 있는가입니다. 질문을 쪼개는 지점에 정확도의 대부분이 존재하며, 동시에 위험이 숨는 지점이기도 합니다. 손으로 만든 rubric은 그 작성자가 떠올린 실패 양식에 대해서만 보호해 주기 때문입니다. 분해에서 위험한 공백은 명백히 빠져 있는 하위 확인 항목이 결코 아닙니다. 그것은 아무도 그런 식으로 미묘하게 틀릴 수 있다는 것을 떠올리지 못했기에 아무도 작성하지 않은 항목입니다. 실제로 이는 표면적 그럴듯함은 유지하면서 실제 의미는 뒤집는 특정 범주의 변형에 대해 적대적으로 테스트하는 것을 뜻합니다. 즉, 부정어를 뒤집기(can을 cannot으로), 수량 한정어를 조용히 약화시키기(all을 some으로), 크기를 10배 규모로 바꾸기(500밀리그램을 5000으로), 두 문장 뒤의 숫자와 더 이상 일치하지 않도록 금액을 글자로 풀어 쓰기, 부주의한 의역이 끼워 넣는 바로 그런 종류의 작은 수정으로 날짜를 옮기기 등입니다. 이 각각은 시스템이 구동되는 모든 언어에서 저마다 명시적이고 실행 가능한 자체 테스트가 필요합니다. 한 언어에서 검증기가 잡아내는 변형이, 아무도 테스트를 만들지 않은 언어에서는 소리 없이 통과할 수 있기 때문입니다. 그리고 한 언어에서는 성립하면서 다른 언어에서는 조용히 실패하는 보장은, 밖에서 보기에는 커버리지처럼 보이기 때문에 아예 보장이 없는 것보다 더 나쁩니다.

판단 보류를 대비책이 아니라 일급 출력으로 취급해야 합니다. 검증 시스템에는 검증됨 또는 검증되지 않음만이 아니라 진정한 세 번째 답이 필요합니다. 즉, 주어진 주장이 애초에 확인할 수 있는 종류의 것이 아니라는 명시적 진술과 그 이유를 함께 제시하는 것입니다. 대부분의 법률 AI 제품은 결코 빈손으로 돌아오지 않도록 만들어져 있어서, 진짜 답이 없는 질문도 어떻게든 하나의 답으로 억지로 밀어 넣어지며, 일단 점수로 표현되고 나면 그 하류의 어떤 것도 그것이 애초에 답할 수 없는 질문이었다는 사실을 알 수 없습니다. '이것은 우리가 검증할 수 있는 범위 밖입니다'라고 분명하게 말할 수 있는 시스템을 구축하는 일은 들리는 것보다 더 어려운 제품상의 결정입니다. 주로 그 답이야말로, 데모에서 제품이 말하기를 바라는 바로 그 순간에 제품을 침묵하게 만드는 답이기 때문입니다.

규제가 이 문제를 해결하지 못하는 이유, 그리고 애초에 해결할 수 없었던 이유

이 가운데 어느 것도 규정 준수 계층에 대한 비판이 아닙니다. 공개 의무가 존재하는 이유는, 그것이 어느 기업의 AI가 만들어 낸 모든 출력물의 내용을 읽지 않고도 규제 당국이 시장 규모에서 실제로, 저렴하고 반복적으로 확인할 수 있는 대상이기 때문입니다. 이는 법률 도구를 만드는 기업뿐 아니라 AI를 사용하는 모든 기업에 적용되어야 하는 규제로서는 합리적인 설계 선택입니다. 그러나 이는 완전한 규정 준수와 완전한 정확성이 진정으로 독립적인 축에 놓여 있음을 의미합니다. 어느 기업이 모든 공개 사항을 갖추고, 모든 직원을 교육하고, 모든 합성 출력물을 법이 요구하는 그대로 정확히 표시하고도, 여전히 인용을 지어내거나 holding을 잘못 기술하는 법률 어시스턴트를 출시하고 있을 수 있습니다. AI법의 어떤 조항도 그 특정 질문을 던지지 않으며, 범용 심판이 내놓는 어떤 신뢰도 점수도 그 질문에 답하도록 만들어져 있지 않기 때문입니다. 적어도 다툼의 여지가 있는 법률 업무 대부분에 대해서는 그렇습니다.

그 공백에 이름 붙이기

세 계층을 나란히 세워 보면 업계가 기울이는 노력의 형태가 분명해집니다. 막대한 에너지가 공개에 투입되고 있는데, 규제가 기한을 정해 이를 요구하기 때문입니다. 실질적이고 빠르게 움직이는 에너지가 신뢰도 평가에 투입되고 있는데, 이는 범용적이고 학습이 필요 없으며 심판 모델이 텍스트를 접해 본 모든 도메인에 걸쳐 이전되기 때문입니다. 출처 검증에는 매우 적은 에너지가 투입되고 있는데, 이는 범용성과 정반대이기 때문입니다. 출처 검증에는 특정 도메인을 위한 실제 corpus, 그 도메인 특유의 미묘하게 틀리는 방식에 맞춰 구축하고 유지되는 적대적 커버리지, 그리고 확신에 찬 채 틀리는 것보다 침묵을 지키는 것을 더 저렴하게 취급하는 아키텍처가 필요합니다. 이것은 이전되지 않습니다. 실제로 corpus를 보유한 그 하나의 도메인을 위해, 정직하게, 한 번 구축해야 합니다.

이것이 바로 우리가 지난 한 해의 상당 부분을 들여 특별히 법률을 위해 구축해 온 계층이며, 셋 중 단연코 가장 화려함이 덜한 계층입니다. 이것은 신뢰도 점수처럼 깔끔한 단일 숫자를 내놓지 않으며, 공개 규정 준수처럼 증서를 함께 주지도 않습니다. 정직하게 구축되었을 때 이것이 내놓는 것은 더 좁고 위조하기 더 어려운 무언가입니다. 즉, 실제 출처와 일치하거나 아니면 아예 확인 불가능한 것으로 표시되는 주장이며, 그 사이에 얼버무려지는 것은 아무것도 없습니다.