외부 감사 없는 리걸 AI는 검증 없는 약속이다

리걸 테크의 논의는 정확도 벤치마크, 환각률, 모델 비교에 집중되어 왔다. 상대적으로 덜 주목받은 질문은 구조적인 것이다. 누가 법률 분석을 생산하는 시스템이 실제로 주장하는 바를 수행한다고 인증하는가?

이것은 기술의 문제가 아니다. 거버넌스의 문제다. 그리고 법률 부문이 처음부터 던졌어야 할 질문이다.

AI 법률 도구의 감사 문제

법률 맥락에 배치된 대부분의 AI 도구는 단일 노드 시스템으로 작동한다. 문서가 들어가고 분석이 나온다. 입력과 출력 사이의 추론 사슬은 설계상 불투명하다. 사용자는 시스템이 올바른 규범 체계를 적용했는지, 관련 판례를 검색했는지, 인용이 실재하는지 아니면 환각된 것인지, 또는 도달한 결론이 참고했다고 주장하는 출처와 일관되는지를 검증할 수 없다.

공급업체는 정확도 벤치마크를 발표한다. 벤치마크는 유용하지만, 엄선된 평가 집합에서의 성능을 측정하는 것이지, 당신의 의뢰인이 어느 화요일 오후에 들고 오는 문서에서의 성능을 측정하는 것이 아니다.

왜 아키텍처가 감사 가능성을 결정하는가

우리가 Nexus Legal을 설계할 때, 단일 노드 시스템은 외부 감사인이 업무를 수행하는 데 필요한 증거 흔적을 생성할 수 없기 때문에 바로 그 이유로 다중 노드 아키텍처를 중심으로 구조화했다.

이 시스템은 별개의 기능 노드를 사용한다. Node A는 1차 분석을 생산한다. Node B는 그 분석을 독립적으로 감사하고, 대립적 반론을 생성하며, 검증을 견디는 주장을 인증한다. A와 B 사이의 불일치 기록은 보존되고 이의 제기가 가능하다. 그것은 시스템이 무엇을 결론지었는지뿐만 아니라 무엇을 검토하고 기각했는지까지 담아낸다.

이것은 기술적 호기심거리가 아니다. 외부 인증의 근본 요건이다. 추적 가능하고 이의 제기가 가능한 출력 사슬을 생산하지 않는 시스템은 감사할 수 없다.

제3자 거버넌스 계층이 인증하는 것

리걸 AI 시스템의 외부 인증은 기저 모델의 인증이 아니다. 그것은 다음의 인증이다:

방법론: 시스템이 여러 관할권에 걸쳐 문서화되고 일관된 분석 체계를 적용하는가? 그 체계는 공개적으로 정의되어 있고 독립적으로 검토 가능한가?

주장 검증 과정: 시스템이 어떤 규범이 현재 유효하다거나, 선례가 존재한다거나, 법률 해석이 타당하다고 단언할 때, 그 단언에서 출처로 거슬러 올라가는 기계 판독 가능한 흔적이 있는가?

재정의(override) 기록: 인간 검토가 시스템 출력을 재정의할 때, 그 재정의가 기록되고 분류되어 패턴 분석에 활용 가능한가? 출력 유형별 재정의율은 시스템이 체계적으로 신뢰할 수 없는 지점이 어디인지 드러낸다.

관할권 간 일관성: 63개 관할권에 걸쳐 운영되는 플랫폼의 경우, 감사인은 스페인 행정법 맥락에 적용된 규범 체계가 콜롬비아 헌법 소송에 적용되는 체계와 동일하지 않다는 것을 검증해야 한다.출처: 63개 관할권

통합 경로

제3자 감사 통합은 시스템에 사후적으로 개조해 넣는 것이 아니라 시스템 안에 설계해 넣어야 하는 세 가지를 요구한다.

첫째, 감사 접근이 가능한 출력 로그. 모든 분석은 감사인이 추론 사슬을 재구성하기에 충분한 메타데이터와 함께 기록되어야 한다. 어떤 출처가 검색되었는지, 어떤 규범 모듈이 적용되었는지, Node B의 불일치 기록은 어떠했는지, 그리고 질의 시점에 기저 코퍼스의 어느 버전이 활성화되어 있었는지가 그것이다.

둘째, 변조 감지 가능한 고정(anchoring). 공식 절차에 사용되거나 규제 당국에 제출되는 출력의 경우, 감사 흔적은 감지 없이는 변경될 수 없는 기록에 봉인되어야 한다. 암호학적 고정(콘텐츠 해시, 디지털 서명, RFC 3161 타임스탬프)은 어느 당사자든 자신이 읽고 있는 출력이 생성된 이후 수정되지 않았다는 것, 그리고 그에 연관된 메타데이터가 그 순간의 시스템 상태와 일치한다는 것을 검증할 수 있게 한다.

셋째, 구조화된 인증 엔드포인트. 거버넌스 계층은 시스템의 방법론 문서를 질의하고, 표본 점검을 위해 익명화된 출력 샘플을 가져오며, 시스템 매개변수가 이전에 인증된 출력에 영향을 미치는 방식으로 변경될 때 자동화된 경보를 받을 수 있어야 한다.

이를 시급하게 만드는 규제 압력

EU AI Act는 사법 절차에 사용되는 리걸 AI 시스템을 부속서 III(Annex III)에 따른 고위험 시스템으로 분류한다. 고위험 시스템은 적합성 평가 의무, 기술 문서화 요건, 그리고 공급업체의 내부 자체 인증으로는 충족될 수 없는 인간 감독 의무를 수반한다.출처: EU AI Act · Annex III

유럽연합 전역에서 운영되는 플랫폼에게 이것은 미래의 컴플라이언스 우려가 아니다. 그 의무는 이미 발효되어 있다. 문제는 당신의 시스템 아키텍처가 외부 적합성 평가 기관이 요구하는 증거를 생성할 수 있는가이다.

현재의 대부분 리걸 AI 배치는 그렇게 하지 못한다. 아키텍처가 요구되는 증거 흔적을 생산하지 못하며, 배치 이후에 그것을 사후 개조하는 것은 처음부터 구축하는 것보다 훨씬 더 비싸다.

이것이 실무에서 의미하는 바

법률 부문은 AI 도구가 단지 더 빠른 조사 보조자가 아니라는 것을 배워 가는 중이다. 그것은 법적 결과를 수반하는 주장을 생산하는 시스템이며, 잘못된 답변의 비용이 의뢰인에게 돌아가는 맥락에 배치된다.

그러한 수준의 결과에 부합하는 거버넌스 모델은 내부 품질 보증과 주기적 공급업체 감사가 아니다. 그것은 독립적인 제3자가 언제든지 방법론, 출력 사슬, 교차 검증 기록을 점검하고, 시스템이 수행한다고 주장하는 바가 실제로 수행하는 바임을 인증할 수 있는 구조다.

Nexus Legal에서 우리는 그것이 의무화되기 전에 그 요건을 위해 설계했다. 우리가 구축하고 있는 감사 계층은 컴플라이언스 부가 기능이 아니다. 그것은 전문 법률 용도로 설계된 시스템이 첫날부터 갖췄어야 할 모습이다.