출처는 유효성이 아니다: 리걸 AI 그라운딩의 핵심에 있는 혼동

어느 리걸 AI 공급업체에게든 그들의 시스템이 환각을 일으키는지 물어보면 대체로 같은 취지의 답변을 듣게 됩니다. 아니라고, 왜냐하면 모든 주장은 검색된 출처에 그라운딩(grounding)되어 있으며 클릭해서 검증할 수 있는 인용이 붙어 있기 때문이라고 답합니다. 이것이 업계가 통용하는 "해결됨"의 정의가 되었습니다. 검색 증강 생성(RAG)이 자유 형식의 생성을 대체했고, 인용이 근거 없는 단정을 대체했으며, 환각 문제는 해결되었다고까지는 아니어도 적어도 억제되었다고 선언되었습니다.

억제되지 않았습니다. 이는 그라운딩된 법적 주장이 갖추어야 하는 두 가지 속성 가운데 정확히 하나로 좁혀졌을 뿐이며, 두 번째이자 아마도 더 어려운 속성은 거의 전혀 다루어지지 않은 채 남아 있습니다. 업계는 출처(provenance)를 해결했습니다. 유효성(currency)은 해결하지 못했습니다. 그리고 이 두 속성은 외부에서 볼 때 동일하게 보이기 때문에, 첫 번째만 갖춘 시스템은 지면상으로는 두 가지를 모두 갖춘 답변과 구별할 수 없는 답변을 내놓습니다.

이것이 이 글이 다루는 혼동이며, 한 문제에 대한 해법이 다른 문제에는 전혀 도움이 되지 않으므로 이에 대해 정밀하게 짚어 볼 가치가 있습니다.

하나의 단어를 걸친 두 개의 주장

리걸 AI 시스템이 어떤 답변이 "그라운딩되었다"고 말할 때, 그것은 암묵적으로 서로 별개인 두 가지 사실적 주장을 하고 있는 것이며, 이 둘을 완전히 분리해서 살펴볼 가치가 있습니다.

출처(provenance)란 인용된 출처가 존재하며 그것에 귀속된 내용을 실제로 담고 있다는 주장입니다. 이는 문서의 현재 상태에 관한 주장입니다. 어느 민법전의 Article 1124가 존재하는지, 그리고 그 조문의 텍스트가 모델이 그것에 붙인 명제를 실제로 뒷받침하는지에 관한 것입니다. 출처의 실패는 사람들이 "환각 인용"이라고 말할 때 의미하는 바입니다. 결코 판결된 적 없는 사건, 결코 제정된 적 없는 법령, 또는 실제로는 하지 않는 주장을 뒷받침하도록 억지로 늘려진 실재하는 출처가 그것입니다.

유효성(currency)은 전혀 다른 주장입니다. 인용된 출처가 지금 이 순간, 또는 분석이 고정된 어느 시점 기준으로 여전히 유효한 법이라는 주장입니다. 폐지되지 않았고, 후속 법률로 대체되지 않았으며, 규율 내용을 바꾸는 방식으로 개정되지 않았고, 판례 변경으로 폐기되지 않았으며, 무의미해질 정도로 구별되지 않았고, 후속 권위에 의해 제한되지 않았다는 것입니다. 유효성은 문서에 관한 주장이 아닙니다. 그것은 문서가 작성된 이후 법에 일어난 모든 일과 그 문서가 맺는 관계에 관한 주장입니다.

이 둘은 독립적인 축입니다. 어떤 인용은 완벽한 출처와 유효성 0을 동시에 가질 수 있습니다. 출처는 실재하고 인용문은 정확하지만, 해당 조항이 18개월 전에 폐지되었기 때문에 그 무엇도 의미가 없는 경우입니다. 어떤 인용은 원리적으로는 불완전한 출처를 가지면서도 유효성이 있는 무언가를 가리킬 수 있지만, 이 경우는 더 드물고 덜 흥미롭습니다. 두 가지 실패 양상은 전혀 다른 탐지 전략을 요구하며, 바로 이 부분을 업계가 아직 체득하지 못했습니다.

인용을 붙인 RAG가 왜 첫 번째만 사 주는가

검색 증강 생성이 환각의 해법이라는 평판을 얻은 것은 그것이 출처를 직접 겨냥하기 때문입니다. 질의를 임베딩하고, 코퍼스를 임베딩하고, 가장 가까운 구절을 검색하고, 그 구절을 조건으로 답변을 생성한 뒤, 그 구절을 인용으로 붙입니다. 이는 모델이 파라미터 기억에서 지어낸 무언가가 아니라 실재하는 무언가에 대해 말하도록 보장하는 데 진정으로 효과적인 아키텍처입니다. 이는 실질적인 진보이며, 이 글이 반대하는 대상이 아닙니다.

그러나 검색 단계가 실제로 무엇을 최적화하는지 보십시오. 질의와 코퍼스 내 구절 사이의 의미적 유사도입니다. 그 유사도 점수의 어떤 부분도 해당 구절이 여전히 효력이 있는지를 인코딩하지 않습니다. 폐지된 조항과 그것을 폐지한 개정 조항은 동일한 통합 텍스트 안에서 몇 개의 토큰만큼 떨어져 있거나 인접한 데이터베이스 행에 놓여 있을 수 있으며, 그 임베딩은 거의 동일할 것입니다. 왜냐하면 둘은 유사한 언어로 같은 주제를 서술하기 때문입니다. 20년간 지배적 권위였던 선례와 작년에 그것을 판례 변경으로 폐기한 항소심 판결은, 무관하지만 현재 유효한 조항과 각각 공유하는 어휘보다 서로 더 많은 어휘를 공유하는 경우가 흔합니다. 임베딩 거리는 무엇에 관한 것인지를 측정합니다. 유효성을 측정하지 않습니다. 표준 벡터 검색 파이프라인에는 낡은 출처가 현행 출처보다 낮은 점수를 받게 만드는 메커니즘이 없습니다. 낡음이란 텍스트의 의미적 속성이 아니기 때문입니다. 그것은 임베딩이 결코 보지 못하는 타임라인상에서 텍스트가 차지하는 위치의 속성입니다.

이것이 RAG 시스템이 모든 출처 검사를 통과하고도 여전히 자신 있게 죽은 법을 제공할 수 있는 구조적 이유입니다. 인용은 실재합니다. 구절은 주장된 내용을 실제로 담고 있습니다. 검색은 설계된 그대로 정확히 작동했습니다. 그런데 답변은 틀렸으며, 인용된 구절을 아무리 다시 읽어도 드러나지 않는 방식으로 틀렸습니다. 구절 자체가 대체되었다는 어떤 표시도 주지 않기 때문입니다. 대체는 대체된 텍스트에 기입되지 않습니다. 그것은 다른 문서에, 어쩌면 다른 문체, 관보, 또는 판례집에 기입되며, 검색 단계는 그것을 함께 표면화할 특별한 이유가 없었습니다.

구체적 예시

예시로서, 계약상 소멸시효 기간에 관한 어느 민법전 조항을 생각해 봅시다. 처음에는 15년의 기간을 정해 두었는데, 몇 년 뒤의 입법 개혁이 이를 5년으로 단축하면서 개혁 이전 계약에 대한 경과 규정을 두었다고 가정해 봅시다. (이 양상은 가정이 아닙니다. 스페인의 Ley 42/2015는 Código Civil Article 1964에 따른 대인적 소권의 일반 소멸시효 기간을 15년에서 5년으로 단축하면서 정확히 그러한 경과 규정을 두었습니다.) 통합 법전을 올바르게 수집한 코퍼스는 현행 5년 텍스트를 담게 됩니다. 그러나 코퍼스, 또는 임베딩 파이프라인, 또는 캐시된 중간 표현이 대체된 버전을 보유하고 있었다면, 즉 더 오래된 스크랩에서 온 청크, 옛 규칙을 인용한 학술 논평, 개혁 이전에 그것을 적용한 하급심 판결을 보유하고 있었다면, 검색 시스템은 대체된 텍스트보다 현행 텍스트를 선호할 구조적 이유가 없습니다. 두 청크는 주제상 동일합니다. 둘 다 문자 그대로 이 부류의 계약에 대한 소멸시효 기간에 관한 것입니다. 유사도 점수는 이 둘을 구별할 수 없습니다. 이 둘을 구별하는 것, 즉 하나는 효력이 있고 하나는 없다는 사실이 두 구절의 텍스트 어디에도 인코딩되어 있지 않기 때문입니다. 그것은 두 구절 모두에 외재하는 사실에 인코딩되어 있습니다. 개혁의 날짜, 시행일, 그리고 각 버전이 어느 계약에 적용되는지를 규율하는 경과 규정입니다.출처: Ley 42/2015 (BOE)

이제 이를 판례법으로 확장해 봅시다. 여기서는 되돌아갈 통합 텍스트가 없기 때문에 이에 상응하는 실패가 더 뚜렷합니다. 선례는 원래의 판결문을 편집함으로써가 아니라, 별개의 후속 판결이 해당 관할권의 관례에 따라 이전 사건이 더 이상 법을 대표하지 않는다고 말함으로써 판례 변경으로 폐기됩니다. 원래 판결문의 텍스트는 바뀌지 않습니다. 그것은 코퍼스 안에 온전히 인용 가능한 상태로 놓여 있으며, 판결된 그날과 정확히 똑같이 설득력 있게 읽히면서도, 18개월 뒤에 어느 법원이 반대 견해를 취했다는 것을 표면상 아무것도 나타내지 않습니다. 오직 출처만을 위해 구축된 검색 시스템은 그것을 표면화하고, 정확하게 인용하고, 충실하게 인용문을 옮길 것입니다. 그러나 그 모든 것이, citator(판례 인용 추적 서비스)에 접근할 수 있는 1년차 어소시에이트라면 30초 만에 잡아냈을 법을 제공하는 일입니다.

그 30초는 보기보다 더 많은 일을 하고 있습니다. 그것은 유효성 문제 전체가 거의 어떤 자동화 파이프라인도 수행하지 않는 단 한 번의 수작업 검사로 압축된 것입니다.

이미 이 문제의 절반을 해결하는 인프라, 그리고 그것이 손대지 않는 절반

법정보학은 수십 년에 걸쳐 식별자와 구조 표준을 구축해 왔으며, 그것들이 실제로 무엇을 다루는지에 대해 공정하게 짚어 볼 가치가 있습니다. ELI(유럽 입법 식별자)와 ECLI(유럽 판례 식별자)는 모든 입법과 모든 사법 판결에 안정적이고 해석 가능한 정체성을 부여합니다. Akoma Ntoso는 법률 문서에 구조화된 XML 표현을 부여하여, 전문과 규율 본문, 조문과 항, 개정과 기초 텍스트를 구별합니다. EUR-Lex의 통합 서비스는 날짜가 부여된 CELEX 식별자를 통해 표면화되며, 유효성이 요구하는 것에 더 가까운 무언가를 합니다. 즉 EU 입법의 통합 버전을 추적하고, 주어진 날짜에 대해 어느 규정이나 지침의 어느 버전이 효력이 있었는지를 노출합니다.출처: ELI (EUR-Lex) · ECLI (Council conclusions, 2011) · Akoma Ntoso · EUR-Lex consolidated texts

이는 실질적인 인프라이며, 출처를 훌륭하게 해결합니다. 식별자는 문서로 해석됩니다. 구조화된 표현은 문서의 어느 부분을 보고 있는지 알려 줍니다. 그러나 이 가운데 어느 것도 그 자체로는, 그 특정 식별자에서 해석된 그 특정 조항이 질문이 제기되는 날짜에 여전히 유효한 법이었는지를 소비 시스템에게 알려 주지 않습니다.

이 문제가 역사적으로 해결되어 온 곳에서는, 독점적이고 수작업으로 큐레이션된 citator 서비스에 의해 해결되어 왔습니다. Shepard's Citations와 KeyCite가 존재하는 이유가 바로, 유효성은 텍스트를 보유한다고 해서 도출되지 않기 때문입니다. 그것은 후속 취급에 관한 별도의 그래프를 요구하며, 이 그래프는 수많은 편집자들이 모든 새로운 판결을 읽고 그것이 인용하는 모든 이전 판결과 맺는 관계, 즉 추종, 구별, 제한, 비판, 판례 변경으로 폐기를 분류함으로써 구축됩니다. 이는 한 세기가 넘도록 소수의 커먼로 시장에서 막대한 지속적 편집 비용을 들여 작동해 왔으며, 60개 관할권의 입법과 판례법에 동시에 확장되는 형태로는 존재하지 않습니다. 60개 법체계에 걸친 입법 유효성을 위한 Shepard's의 등가물을 아무도 구축하지 않았습니다. AI 시스템이 60개 전부에 걸쳐 자신 있게 질문에 답하기 시작하기 전까지는 아무도 그럴 필요가 없었기 때문입니다.

유효성을 인식하는 아키텍처가 실제로 요구하는 것

출처가 문서로 해석되는 식별자로 해결된다면, 유효성은 그래프로 해결되며, 그것은 구조적으로 서로 다른 두 종류의 그래프를 필요로 합니다. 입법과 판례법은 서로 다른 메커니즘을 통해 대체되기 때문입니다.

입법의 경우, 그래프는 버전이 관리되는 개정 사슬입니다. 각 노드는 특정 구간 동안 유효한 어느 조항의 한 버전입니다. 간선은 개정(이 버전이 저 버전을 이 날짜에 발효되어 대체함), 정지(이 조항은 폐지가 아니라 이러한 조건 하에 정지됨), 그리고 폐지(이 버전이 조항의 유효성을 완전히 종결함)를 나타냅니다. 경과 규정은 세 번째 종류의 간선입니다. 그것은 주어진 기준 시점 이전에 발생한 사실에 어느 버전이 적용되는지를 명시하는데, 이는 현행 텍스트만 아는 시스템을 걸려 넘어지게 만드는 바로 그 경우이기 때문입니다. 이 그래프에 대한 유효성 질의는 검색이 아닙니다. 그것은 특정 시점 조회입니다. 어느 조항과 어느 날짜가 주어졌을 때, 어느 버전이 효력이 있었으며 그 특정 버전이 무엇을 말하는가입니다. 이는 EUR-Lex의 통합 장치가 EU 법에 대해 이미 추적하는 것과 동일한 정보입니다. 그것은 대부분의 국가 법체계에 대해서는 아직 어떤 체계적 형태로도 존재하지 않으며, 대부분의 검색 파이프라인이 호출할 수 있는 조회 가능한 API로서는 전혀 존재하지 않습니다.

판례법의 경우, 그래프는 citator 그래프이며, 그 간선은 더 어려운 문제를 담고 있습니다. 그것들은 후속 취급의 존재 여부만이 아니라 그 유형을 분류할 것을 요구합니다. 이전 사건을 인용하는 후속 사건은 그것을 추종하거나, 사실관계에서 구별하거나, 그 판시를 더 좁은 부류의 사건으로 제한하거나, 정식으로 판례를 변경하지 않은 채 그 논리에 의문을 제기하거나, 아예 판례 변경으로 폐기하고 있을 수 있습니다. 이들은 동등하지 않으며, "후속 사건이 인용함"을 단일한 미분화 신호로 취급하는 것은 후속 취급을 아예 무시하는 것만큼이나 거의 쓸모가 없습니다. 이 관계를 자동으로 분류하는 것은 진정으로 어려운 자연어 추론 문제입니다. 그것은 인용이 존재한다는 것을 탐지하는 데 그치지 않고, 후속 판결문이 이전 판결을 실제로 어떻게 취급하는지를 읽어 낼 것을 요구합니다. 함의 모델은 법원이 관례적으로 사용하는 언어에서 판례 변경으로 폐기와 구별의 더 명시적인 신호에 대해 합리적인 1차 통과를 수행하도록 학습될 수 있지만, 이는 일반적인 경우에는 진정으로 미해결인 연구 문제이며, 어떤 상용 시스템이든 citation 그래프에 유사도 점수를 더한 것이 유효성 검사에 해당한다고 가장하기보다는 이를 정직하게 밝혀야 합니다.

이 둘이 모두 존재할 때의 결과는, 유효성 검사가 연구 과제이기를 멈추고 그래프 순회가 된다는 것입니다. 출처 S를 인용하는 어떤 주장이 주어졌을 때, 질의 날짜 이전에 날짜가 부여된, S의 유효성을 개정, 폐지, 또는 판례 변경으로 폐기함으로써 제거하는 활성 간선이 존재하는가입니다. 그 순회는 빠르고, 결정론적이며, 기계로 검사 가능한 연산입니다. 그래프가 없다면, 그것은 동일한 검사의 느린 버전이 아닙니다. 그것은 아예 수행되지 않습니다. 시스템은 "이것이 여전히 유효한 법인가"라는 질문이 표현조차 될 수 있는 자료 구조를 갖고 있지 않으며, 그래서 조용히 "그렇다"고 가정하는 것으로 기본값이 설정됩니다.

왜 이것이 날조보다 더 나쁘게 누적되는가

유효성 실패를 출처 실패보다 덜 위험하지 않고 더 위험하게 다룰 이유가 있으며, 업계의 관심이 반대 방향으로 흐르고 있기 때문에 이를 직접적으로 진술할 가치가 있습니다.

날조된 인용은 적어도 원리적으로는 존재 여부로 검사할 수 있습니다. 이 사건이 존재하는가. 어떤 판례집에든 한 번 조회하면 그 질문에 답이 나오며, 성실한 검토자나 자동화된 존재 검사가 그것을 잡아냅니다. 그것은 창피하고, 제재 대상이 되며, 널리 알려진 실패 양상이고, 또한 구조적으로 두 가지 중 방어하기 더 쉬운 쪽입니다. 검사가 이진적이고 기준 진리(이 사건이 이 판례집에 존재하는가)가 모호하지 않기 때문입니다.

낡은 인용은 바로 그 검사를 통과합니다. 사건은 존재합니다. 그것이 말하는 법원이, 그것이 말하는 날짜에, 인용된 바로 그 내용을 말하며 판결했습니다. 유효성 검사를 함께 수행하지 않는 검토자가 이용할 수 있는 모든 출처 검사는 깨끗한 결과를 반환할 것입니다. 그것을 잡아낼 유일한 방법은 그 권위에 나중에 무슨 일이 일어났는지를 이미 알고 있거나 조회하는 것인데, 그것이야말로 인용된 문서 자체 안에 살지 않는 바로 그 정보입니다. 이것이 경험 많은 변호사가 citator에 손을 뻗는 본능이 습관이 아닌 이유입니다. 그것은 출처와 유효성이 서로 다른 도구를 요구하는 서로 다른 질문이며, 첫 번째 도구는 아무리 신중하게 적용하더라도 두 번째 질문에 답할 수 없다는 인식입니다.

합성 하에서는 더 나빠집니다. 법적 추론은 좀처럼 단일 주장이 아닙니다. 그것은 사슬이며, 위험 평가나 초안 권고가 서너 개의 전제 위에 놓이고 각 전제가 저마다의 권위를 인용합니다. 사슬 속 한 전제가 낡았다면, 즉 출처는 깨끗하지만 유효성은 죽었다면, 그 결함은 국소에 머물지 않습니다. 그 전제 위에 세워진 모든 하위 추론이 그 오류를 조용히 물려받습니다. 각각의 추론 단계를 그 자체로 살펴보면 국소적으로는 건전해 보이기 때문입니다. 사슬은 가장 약한 고리만큼만 좋으며, 유효성 실패는 완성된 산출물 어디에서도 약함의 가시적 징후를 주지 않는 약한 고리입니다. 최종 메모를 읽으며 각 인용이 실재하고 주장된 내용을 담고 있는지 확인하는 검토자는 아무 잘못도 발견하지 못할 것입니다. 출처에 관해서는 아무것도 잘못되지 않았기 때문입니다. 그 결함은 검토가 결코 손대지 않은 층에 온전히 살고 있습니다.

"그라운딩됨"이 실제로 의미해야 하는 것

출처와 유효성이 진정으로 별개의 속성이라면, 어떤 시스템이 그라운딩되었다는 주장은 하나가 아니라 적어도 세 개의 검사 가능한 진술로 분해되어야 합니다. 이 출처는 이 식별자에서, 모델의 말과 무관하게 독립적으로 해석 가능한 상태로 존재한다. 이 출처의 텍스트는 일반적인 주제 수준이 아니라 인용된 구절 수준에서 이 특정 주장을 뒷받침한다. 그리고 이 출처는, 그것이 작성된 이후 그것에 일어난 모든 일에 관한 구조화된 기록에 대조하여 검증했을 때, 즉 구절 자체에 반대 신호가 없다는 것으로부터 추론한 것이 아니라, 해당 날짜에 유효한 법이었다.

현재 시장이 그라운딩된 리걸 AI 시스템이라고 부르는 것의 대부분은 앞의 두 가지를 충족하고 세 번째에 대해서는 침묵합니다. 세 번째가 중요하지 않아서가 아니라, 그것이 세계 대부분의 법체계에 대해 아직 존재하지 않는 인프라를 요구하기 때문입니다. 즉 특정 시점 버전이 관리되는 입법 그래프와, 자동으로 또는 반자동으로 유지되는 citator 그래프를, 어떤 단일 독점 서비스도 시도한 적 없는 규모로 여러 관할권에 걸쳐 갖추어야 합니다. 그 인프라를 구축하는 일은 더 나은 검색기나 더 나은 인용 서식기를 구축하는 것과는 범주적으로 다른 프로젝트입니다. 그것은 법적 유효성을 법의 텍스트 자체에서 읽어 낼 수 있는 속성으로서가 아니라, 법이 변함에 따라 지속적으로 추적되는, 일급이며 시간적이고 그래프로 구조화된 사실로 다룰 것을 요구합니다.

그것이 존재하기 전까지, 모든 그라운딩된 리걸 AI 시스템은 실제로는 검증할 수 없는 주장을 하고 있는 것입니다. 그것은 답변이 어디에서 왔는지 알려 줄 수 있습니다. 그것은 아직, 같은 확신을 가지고, 그 출처가 여전히 법이 살고 있는 곳인지를 알려 주지 못합니다.