조항이 곧 환각(hallucination)일 때: 계약 조건의 근거화와 계약 성립 순간의 거버넌스

누군가를 대신하여 협상하거나 초안을 작성하는 AI 시스템은 그 누구도 조종하지 않으면서 자신의 본인(principal)에게 더 나쁜 결과를 낳을 수 있습니다. 인지적 편향을 악용하거나 상대방에게 사실을 왜곡할 필요조차 없습니다. 실제 법적 효과가 양 당사자가 믿는 바와 다른 조건, 즉 중과실 예외 조항 아래에서는 존속하지 못하는 손해배상 책임 한도, 법원이 집행 불가능한 위약벌로 판단하여 무효화할 손해배상 예정액(liquidated damages) 수치, 준거법이 인정하는 범위를 넘어서는 경업금지 약정을 제안하거나 수용하기만 하면 됩니다. 이런 일이 벌어지는 데 어느 당사자도 기만당할 필요가 없습니다. 양측 모두 조항을 읽고 합리적으로 보인다고 동의한 뒤, 어느 쪽이 생각하는 대로도 작동하지 않는 무언가에 서명할 수 있습니다.

이러한 실패는 노골적으로 환각된 인용보다 더 나쁩니다. 눈에 보이는 결함이 전혀 없기 때문입니다. 조작된 판례는 적어도 지면 위에 놓여 누군가 추적해 볼 수 있는 주장을 내세웁니다. 그러나 준거법 아래에서 소리 없이 실패하는 조항은 제대로 작동하는 조항과 완전히 똑같이 읽힙니다. 그것은 협상을 견뎌 냈습니다. 양측 모두 받아들일 수 있는 타협을 이끌어 냈습니다. 협상이 성공한 것처럼 보입니다. 바로 그 조항이 원용되는 순간, 그것이 모두가 가정했던 대로 작동하지 않는다는 사실이 드러나기 전까지는 말입니다.

이를 예방하려면 두 가지 방어책이 필요하며, 이 둘은 서로를 대체할 수 없습니다. 하나는 내용을 검증합니다. 즉 이 특정 조항이 이 특정 준거법과 사실관계 아래에서 겉으로 보이는 효과를 실제로 낳는지를 봅니다. 다른 하나는 절차를 검증합니다. 즉 협상 시스템 자체가 무엇을 주장하든 그와는 독립적으로, 조항이 수용되기 전에 이 검증이 실제로 이루어졌다는 증거가 있는지를 봅니다. 첫 번째만 갖춘 시스템은 아무도 검사를 강제하지 않으면 여전히 나쁜 조항을 통과시킬 수 있습니다. 두 번째만 갖춘 시스템은 그 절차 안에 담긴 근본적인 법적 분석이 단지 틀렸을 뿐인데도 절차가 준수되었다는 사실은 엄정하게 입증할 수 있습니다. 두 실패 모두 동일한 결과를 낳습니다. 겉으로는 깨끗해 보이는 감사 추적을 동반한 채, 본래 의도한 대로 작동하지 않는 서명된 문서 말입니다.

이것이 법률 조사보다 더 어려운 근거화 문제인 이유

분석적 주장을 근거화하는 것은 대조(resolution) 문제입니다. 시스템이 법에 관한 명제를 단언하면, 근거화는 원문 그대로이며 현행인 출처가 그것을 실제로 뒷받침하는지를 확인합니다. 이 검사는 비교적 고정된 표적을 가집니다. 즉 이 구절, 이 조문이 주장된 바를 말하고 있는가입니다.

협상으로 다듬어진 조항을 근거화하는 것은 이와 다르고 더 어려운 문제입니다. 시스템이 법에 관한 주장을 하는 것이 아니기 때문입니다. 시스템은 법이 그것을 어떻게 취급할지에 따라 법적 효과가 달라지는 문언을 제안하거나 수용하는데, 이는 단순한 검색 이상을 요구합니다. 대부분의 법체계에 걸쳐 반복적으로 나타나는 세 가지 법리 범주를 살펴보십시오. 이들은 각 법체계마다 다른 모습을 띠지만, 거의 어디에서나 어떤 형태로든 존재합니다.

위약벌과 손해배상 예정액(liquidated damages)의 법리. 많은 법역은 진정한 손해의 사전 예정이 아니라 위약벌로 기능하는 손해배상 예정액 조항을 집행하지 않습니다. 양 당사자가 선의로 협상한 수치라도 그 기준을 충족하지 못하면 사법적으로 집행 불가능할 수 있으며, 그 기준은 사실관계에 좌우됩니다. 즉 위반 시점이 아니라 계약 체결 시점에 어떤 손해가 예견 가능했는가입니다.

책임의 배제와 제한에 대한 강행적 한계. 대부분의 법체계는 책임 한도 조항이 무엇이라고 규정하든, 특정 범주에 대한 책임, 흔히 중과실, 고의적 위법행위, 사망 또는 신체 상해에 대한 책임을 당사자들이 계약으로 회피하는 것을 허용하지 않습니다. 문서상으로는 절대적인 것처럼 읽히는 책임 한도가 적용 단계에서는 소리 없이 부분적인 것이 될 수 있으며, 어떤 범주가 어떻게 예외로 제외되는지는 법역마다 다릅니다.

제한 약정의 형식 및 범위 요건. 경업금지 약정, 유인금지 약정 및 이와 유사한 제한 조건은 기간, 지리적 범위, 대상 범위의 특정한 한계 안에서만 집행 가능한 경우가 많습니다. 이러한 한계는 법역마다 크게 다르며, 어느 한 법역의 허용 범위에 맞추어 작성된 조항이 다른 법역에서는 소리 없이 실패할 수 있습니다.

이 가운데 어느 것도 예외적 사례가 아닙니다. 이들은 계약 협상의 일상적인 운용 지형이며, 그 하나하나에서 조항의 텍스트는 스스로를 해석해 주지 않습니다. 그 실제 효과는 협상 시스템이 단지 검색해 오면 되는 정의가 아니라, 대조하여 확인해야 하는 법체(body of law)에 좌우됩니다.

방어책 하나: 조항의 문언만이 아니라 그 효과를 근거화하라

그 해법은 법률 인용에 이미 요구되는 것과 동일한 규율을 다른 표적으로 확장합니다. 즉 "이 인용이 존재하고 주장된 바를 말하는가"가 아니라 "이 제안된 조항이 특정 준거법과 특정 사실관계 아래에서 양 당사자가 가정하는 효과를 낳는가"입니다.

구체적으로 이는 협상 시스템이 제안하거나 수용하는 모든 중요한 조항이 세 가지 구성 요소를 담은 검증 기록을 지녀야 함을 뜻하며, 각 구성 요소는 "보통 이렇게 작동한다"는 식의 요약 부연이 아니라 원문 그대로의 출처 텍스트에 근거를 두어야 합니다.

적용되는 법리. 준거법의 어떤 강행 규정 또는 임의 규정이 이 조항 유형에 관계되는지를, 해당 분야에 대한 일반적 서술이 아니라 실제 조문 또는 판례의 계통을 인용하여 밝힙니다.

특정한 사실 의존성. 조항의 집행 가능성이 아직 알려지지 않은 사실에 좌우되는 경우, 예컨대 제한 약정의 범위를 근로자의 실제 직무에 견주는 문제나 책임 한도가 특정 위반 유형에서도 존속하는지의 문제라면, 시스템은 조항을 깨끗해 보이게 만드는 방향으로 모호함을 소리 없이 해소할 것이 아니라 이를 명시적으로 밝혀야 합니다.

혼합된 점수가 아니라 명시적 상태. 조항의 집행 가능성이 명확하고 현행인 판례에 대조하여 확정되고 검증 가능한지, 아니면 진정으로 사실에 의존하며 인간의 법적 판단을 요하는지입니다. 이는 서로 다른 범주의 결과물이며, 이를 하나의 "괜찮아 보인다"는 평가로 뭉뚱그리는 지점에 바로 위험이 실제로 존재합니다. 확인됨으로 표시된 조항은 시스템이 실제이며 현행이고 인용된 판례에 대조하여 그것을 검사했음을 의미해야 합니다. 미해결로 표시된 조항은 확인됨의 신뢰도 낮은 판본이 아니라 정확히 미해결임을 의미해야 합니다.

이것은 인용 근거화보다 실질적으로 더 어려운 공학적 문제입니다. 시스템이 구절을 검색하는 것에 그치지 않고 특정 사실관계가 특정 규칙과 어떻게 상호작용하는지를 추론해야 하기 때문입니다. 또한 이것이 바로 충분히 좋은 언어 모델만으로 해결되었다고 여기는 것이 이 문제의 본질 그 자체인 오류인 이유이기도 합니다. 모델은 어떤 조항이 표준적이고 집행 가능한 이유에 대해 유창하고 자신감 넘치는 문장을 쓸 수 있으나, 그 문장이 검증 가능한 무엇에도 근거를 두지 않을 수 있으며, 유창한 자신감이야말로 그 실패를 양 당사자 모두에게 보이지 않게 만드는 요인입니다.

방어책 둘: 조건을 제안한 시스템과 독립적으로, 계약 성립의 순간을 통제하라

근거화는 시스템이 아는 바를 바로잡습니다. 그러나 거래가 성사되기 전에 아무도 검사를 강제하지 않을 때 벌어지는 일은 바로잡지 못합니다. 아무리 잘 근거화된 협상 시스템이라도 여전히 자기 자신의 작업을 평가하는 동일한 시스템이며, 마감 압박 아래에서 급하게 진행되는 협상은 진정으로 유용한 "미해결로 표시됨" 상태가, 그것을 쫓느라 거래를 늦추기를 결코 원치 않았던 누군가에 의해 소리 없이 통과되어 버리는 바로 그 조건입니다.

두 번째의 독립적 방어책은 절차적이며, 그 아키텍처 패턴은 어느 한 공급업체나 제품에 국한되지 않습니다. 그것은 AI 보조 협상에 적용된 고전적인 내부 통제 원칙, 즉 maker-checker, four-eyes(교차 검증 또는 이중 확인)에 더 가깝습니다. 조항을 제안하거나 평가하는 시스템이 그것을 서명에 이르도록 승인하는 유일한 권한이어서는 안 됩니다. 협상 시스템 자체의 외부에 있는 별도의 통제 계층이 실제 계약 성립의 순간을 관문으로 지키며, "이것이 좋은 거래인가"보다 더 좁고 더 기계적인 질문을 던집니다. 즉 첫 번째 방어책의 근거화 검사가 모든 중요한 조항에 대해 실제로 수행되었는가, 그에 대한 기록이 있는가, 그리고 미해결로 표시된 모든 조항에 대해 소리 없는 통과가 아니라 이름이 명시되고 책임을 지는 인간의 승인이 존재하는가입니다.

이 계층은 법적 분석을 다시 도출할 필요가 없습니다. 그 역할은 실질적이 아니라 절차적입니다. 즉 실질적 검사가 이루어졌음을 검증하고, 협상 시스템 자체가 자신의 작업에 대해 내놓는 보고를 신뢰하는 것과 독립적으로 그것이 사후에 감사 가능함을 검증하며, 그러한 검증이 누락된 곳에서는 실행을 차단하는 것입니다. 이 계층은 "시스템이 이 조항은 괜찮다고 말했다"를 "이 조항이 이 절차에 의해 검사되었다는 증거가 여기 있으며, 미해결로 남은 것에 대해 누가 승인했는지가 여기 있다"로 전환합니다.

이것이 협상 시스템 자체에 덧붙인 기능이 아니라 별도의 계층이어야 하는 이유는, 금융 통제가 지급을 승인하는 사람과 그것을 대사(reconcile)하는 사람을 분리하는 이유와 같습니다. 시스템은 성사시켜야 한다는 상업적 압박 아래에서 자기 자신에 대한 완전히 신뢰할 수 있는 검사가 될 수 없으며, 이는 사람도 마찬가지입니다. 독립성이야말로 그 검사에 의미를 부여하는 속성이며, 독립성은 그 유인이 거래 성사 쪽으로 기우는 바로 그 시스템에 의해 만들어질 수 없습니다.

둘 모두 필요하고 어느 하나만으로는 충분하지 않은 이유

근거화는 갖추었으나 거버넌스 계층이 없는 협상 시스템은 여전히 미해결 조항을 통과시킬 수 있습니다. 근거화는 정직한 표시를 만들어 내지만, 정직한 표시는 거래를 멈출 권한을 가진 누군가가 계약 성립 전에 실제로 그것을 읽어야만 쓸모가 있기 때문입니다. 마감 압박 아래에서 강제되지 않는 표시는 기능적으로 아무 표시도 없는 것과 동일합니다.

거버넌스는 갖추었으나 근거화가 없는 협상 시스템은 실질적으로 틀린 법적 분석 주위에 아름답게 감사된 절차를 만들어 낼 수 있습니다. 통제 계층은 검토가 이루어졌고, 인간이 승인했으며, 워크플로의 모든 단계가 기록되었음을 입증할 수 있으나, 정작 책임 한도가 중과실 청구에도 실제로 존속하는지에 대한 근본적 평가는 애초에 실제 판례에 대조하여 검사된 적이 없을 수 있습니다. 내용의 정확성 없는 절차의 무결성은 틀린 답에 붙은 깨끗한 감사 추적입니다.

소리 없이 실패하는 조항은 지능의 실패가 아닙니다. 모델의 성능은 이를 바로잡지 못합니다. 모델은 특정 사실관계가 특정 법 규칙과 어떻게 상호작용하는지에 대해 완전히 유창하면서도 완전히 틀릴 수 있으며, 유창함이야말로 그 오류를 결함이 아니라 정상적이고 합리적인 타협처럼 보이게 만드는 요인이기 때문입니다. 그 해법은 구조적입니다. 즉 조항의 효과를 원문 그대로이며 현행인 판례에 대조하여 검증하고, 확정된 것과 진정으로 열려 있는 것을 구분하며, 누군가 서명하기 전에 그 검사가 이루어졌음을 확인하는 독립적 계층을 요구하는 것입니다. 어느 조각도 선택 사항이 아니며, 어느 하나만 홀로 구축해서는 그 간극을 메우지 못합니다.