통과해서는 안 될 때 통과하는 인용 검증

다음 시나리오를 떠올려 보라.

한 변호사가 준비서면을 조사하기 위해 AI 도구를 사용한다. 그 도구는 네 건의 항소심 판례를 인용한다. 변호사는 인용 검증을 실행한다. 네 건의 판례가 모두 확인된다. 사건 번호도 유효하다. 법원도 실재한다.

준비서면이 제출된다. 법원이 그 인용들을 문제 삼는다. 문제는 이러하다. 그 판례들에 귀속된 인용 문구가 그 어느 의견서에도 나타나지 않는다는 것이다. AI는 그러한 인용 문구를 담고 있지 않은 실재 판례들로부터 인용 문구를 생성해냈다.

이 일은 Miller v. Regions Bank (N.D. Ala., May 2026)에서 일어났다. 그 변호사는 제재를 받았고, 업무가 정지되었으며, 징계 당국에 회부되었고, 자신의 모든 현재 사건의 모든 의뢰인과 상대측 변호인에게 그 의견서를 배포하도록 명령받았다.

그의 인용 검증은 통과했다. 그의 검증은 잘못된 검증이었다.

AI가 법률 인용에서 실패하는 두 가지 방식

법조계는 법원 제출 서류에서 1,300건이 넘는 문서화된 AI 인용 오류를 분류해 왔다. 대부분의 논의는 이를 하나의 범주로 다룬다. "AI가 인용을 환각했다"는 식이다. 법원들은 두 가지 서로 다른 오류 유형을 구별하기 시작하고 있으며, 이 구별은 검증이 무엇을 잡아낼 수 있는지에 있어 중요하다.

첫 번째 오류 유형은 날조다. AI가 존재하지 않는 판례에 대한 인용을 생성한다. 사건 번호가 지어낸 것이다. 사건명이 아무것에도 확인되지 않는다. 기본적인 인용 검증은 이를 즉시 잡아낸다.

두 번째 오류 유형은 잘못된 귀속이다. AI가 실재하는 판례를, 그 판례가 뒷받침하지 않는 명제를 위해 인용하거나, 의견서에 나타나지 않는 문구를 인용한다. 인용은 완벽하게 확인된다. 판례는 존재한다. 법원도 실재한다. 모든 것이 확인 검증을 통과한다. 그 오류를 발견하는 유일한 방법은 의견서를 펼쳐 해당 단락을 읽는 것이다.

이것들은 서로 다른 문제다. 그것들은 서로 다른 검증을 요한다.

판례들이 보여주는 것

Quinteros v. Harbor Distributing (Cal. Ct. App., June 2026, published)에서 법원은 첫 번째 종류의 오류 두 건과 두 번째 종류의 오류 여덟 건을 발견했다. 다섯 건의 실재 판례에서 날조된 인용 문구 여덟 개였다. 그 계약 담당 변호사는 인용 검증을 세 차례 별도로 실행했다고 주장했다. 만약 사실이라면, 그 검증은 아무것도 잡아내지 못했다. 날조된 인용 문구가 딸린 다섯 건의 실재 판례가 깔끔하게 확인되었기 때문이다.출처: Quinteros v. Harbor Distributing (Cal. Ct. App.)

Whiting v. City of Athens (6th Cir., March 2026)에서 법원은 날조된 인용과, "준비서면에 인용된 문구가 결여되어 있고" "인용된 명제를 뒷받침하지 못한" 인용을 구별했다. 그 의견서는 두 가지 오류 유형을 각각 별도로 명명한다.출처: Whiting v. City of Athens (6th Cir.)

El Bitar v. Hernandez (W.D. Wash., June 2026)에서 Google Gemini는 두 건의 실재하는 Ninth Circuit 이민 판례로부터 인용 문구를 날조했다. "어느 판례도 인용된 명제를 뒷받침하지 않았으며, 인용된 문구는 그 어느 의견서에도 존재하지 않았다." 판례는 존재했다. 인용은 확인되었다. 인용 문구는 그렇지 않았다.

검증이 요구하는 것

1차 검증은 인용된 출처가 존재하는지를 확인한다. 이것은 자동화할 수 있다. 대부분의 인용 검증 도구가 이를 잘 수행한다. 그것은 날조된 사건명, 지어낸 사건 번호, 잘못된 관할에 귀속된 판례를 잡아낸다.

2차 검증은 출처에 귀속된 명제가 실제로 그 출처 안에 있는지를 확인한다. 이것은 같은 방식으로 자동화되지 않는다. 그것은 실무자가 의견서를 펼쳐 해당 부분을 찾아, 인용된 문구나 귀속된 판시 사항이 그곳에 있는지를 확인할 것을 요한다.

법원들은 자신들이 어느 수준을 기대하는지를 명시하기 시작하고 있다. 점점 더 많은 상시 명령과 제재 의견서에 등장하는 "직접 읽고 검증함"이라는 문구는 2차 검증을 함의한다. "검증함"은 단지 판례가 존재한다는 것이 아니라 명제가 성립한다는 것을 의미한다.

거버넌스 측면의 함의

AI를 작성 워크플로에 도입하는 로펌들은 "인용이 실재하는지 확인하라"보다 더 복잡한 검증 문제를 관리하고 있다. 1차 검증은 절차에 손쉽게 통합할 수 있다. 2차 검증은 의도적인 프로토콜을 요한다. 즉 AI 지원 준비서면의 모든 인용에 대해, 지정된 실무자가 귀속된 문구나 판시 사항이 그 의견서에 실제로 존재하는지를 확인하는 것이다.

현재의 제재 물결은 두 가지 검증 중 어느 것도 수행하지 않았거나, 1차 검증만 수행한 실무자들과 관련된다. 도구가 개선됨에 따라, 남게 되는 사건들은 점점 더 1차 검증은 완료했으나 2차 검증을 놓친 실무자들과 관련될 것이다.

그것이 바로 법원들이 분리해내기 시작하고 있는 오류 유형이다. 제재 명령이 당신을 위해 그 구별을 대신해주기 전에 이해해 둘 가치가 있다.