대리 지표는 언제나 자기 자신의 시험을 통과합니다

2009년 미국 국립표준기술연구소 NIST는 소송에서 관련성 있는(responsive) 문서를 찾아내는 방법들을 평가하는 TREC Legal Track을 운영했습니다. 그 대화형 과제에는 이의신청 절차가 설계되어 있었습니다. 참가 팀들이 결과를 제출하고 나면 표본 문서들을 1차 검토자들이 코딩하여 정답 기준을 만들었고, 어떤 문서가 잘못 코딩되었다고 판단한 팀은 이를 Topic Authority, 즉 주제 권한자에게 이의신청할 수 있었습니다. 주제 권한자는 실제 문서 제출에서 무엇이 관련성 있고 무엇이 그렇지 않은지를 결정할 최종 책임을 지는 변호사의 역할을 맡은 선임 변호사였습니다. 그 판단은 최종적이었습니다. 2차 이의신청은 없었습니다.

각 팀은 평가 대상 문서의 약 5퍼센트에 대해 이의신청했고, 번복된 판정 하나하나가 자기 팀의 점수를 올려 주었기 때문에 이길 것으로 예상되는 곳에 이의신청했습니다. 그 이의신청 가운데 89퍼센트가 받아들여졌습니다. 누군가가 굳이 다투고 나선 문서에서는, 선임 변호사가 열 번 중 아홉 번 가까이 1차 검토자와 다른 판단을 내린 것입니다.

회색지대가 아니었습니다. 대부분은 명백한 오류였습니다.

이 분야를 세운 연구자인 Maura Grossman과 Gordon Cormack은 그 이유를 되짚어 물었습니다. 2012년 Pace Law Review에 발표된 그들의 결론은, 관련성이 본질적으로 견해의 문제라는 것이 아니었습니다. 번복된 문서들을 직접 다시 읽어 본 결과, 그들은 그중 대략 열에 아홉이 명백히 관련성 있거나 명백히 관련성 없는 문서이며, 실제로 다툼의 여지가 있는 것은 약 5퍼센트에 불과하다고 판단했습니다. 이 불일치들은 어려운 개념의 경계에 놓인 아슬아슬한 판정이 아니었습니다. 대부분은 명백한 인간의 오류였습니다.

그들은 권한자 쪽도 봐주지 않았습니다. 다시 읽은 문서의 4~8퍼센트에서는, 명백히 틀렸다고 판단된 쪽이 검토자가 아니라 Topic Authority였습니다. Grossman 본인도 한 주제에서 Topic Authority를 맡았는데, 자신이 판정한 문서 열 건을 재검토한 결과 세 건을 뒤집고 두 건은 다툼의 여지가 있다고 보았습니다. 그리고 그 논문은, 표본이 다투어진 문서들만으로 의도적으로 구성되었기 때문에 이 수치들로는 검토자든 권한자든 컬렉션 전체에서 얼마나 자주 틀리는지를 추정할 수 없다고 명시적으로 밝히고 있습니다. 이것은 불일치가 어디에서 비롯되는지에 관한 연구이지, 누가 얼마나 자주 옳은지를 측정한 것이 아닙니다.

값싼 측정이 학습 신호가 되는 지점

이 가운데 어느 것도 평가 자체에는 문제가 되지 않았습니다. 참가 팀들은 1차 코딩을 볼 수 없었고, 그들에게 주어진 것은 Topic Authority와의 최대 열 시간이었습니다. 문제는 그다음 단계, 즉 값싼 측정이 잣대이기를 그치고 시스템을 맞추어 넣는 대상 자체가 되는 일상적 실무에서 시작됩니다. 대량으로 생산할 수 있는 유일한 레이블된 데이터가 그것뿐이기에 분류기가 1차 검토 코딩으로부터 학습하는 곳에서는, 그 코딩이 틀린 부분까지 그대로 물려받습니다. 검토자와 일치하도록 학습된 시스템은 검토자와 일치하는 법을 배웁니다. 옳아지는 법을 배우는 것이 아니며, 자신이 학습한 바로 그 코딩을 기준으로 계산된 정확도 점수는 이 둘을 구분해 주지 못합니다.

우리 자신의 감사 추적에서 발견한 같은 형태

우리는 같은 형태를 우리 자신의 작업에서 발견했고, 이를 잡아내는 데 외부 감사가 필요하지는 않았습니다. 필요했던 것은 팀의 다른 파트에 있던 두 사람이 불편한 질문을 소리 내어 던진 일이었습니다. 한 사람은 검증이 대조하고 있는 증거를 실제로 누가 생산했는지 물었습니다. 다른 한 사람은 우리의 확인 값을 여전히 참으로 남겨 두는 가장 약한 입력이 무엇인지 물었습니다. 우리는 두 질문을 놓고 논쟁하는 대신 실제 시스템에 대고 시험해 보았고, 답은 두 질문이 시사한 것보다 더 나빴습니다. 법적 주장이 올바르게 검증되었음을 증명하기 위해 만들어진 기록이, 대조 대상이 된 원문 자체를 그 기록을 생산한 당사자가 지어낸 경우에도 여전히 확인됨으로 돌아왔습니다. 그것은 내부적으로 일관되었습니다. 모든 부분이 다른 모든 부분과 일치했습니다. 다만 자기 바깥의 무언가와 일치하도록 요구받은 적이 한 번도 없었을 뿐입니다.

자기 일관성과 진정성은 같은 속성이 아니며, 안심시키는 단일 플래그는 언제나 전자가 후자를 대신하도록 허용합니다. 그것을 읽는 사람에게는 둘 중 어느 쪽을 건네받았는지 알아낼 방법이 없기 때문입니다. 그래서 우리는 그 플래그를 해체했습니다. 예전에는 한 단어로 통하던 것이 이제는 무엇을 검증했고 무엇을 검증하지 않았는지를 구체적으로 밝혀야 하며, 자기 자신의 주장 바깥의 어떤 것에도 고정되지 않은 기록은 기본값으로 이상 없음이 되는 대신 그 사실을 그대로 말합니다.

그것을 속이기 위해 만들어진 입력

두 이야기의 밑바닥에 놓인 교훈은 14년의 간격을 두고, 그 밖에는 공통점이 전혀 없는 시스템들에서 동일합니다. 어떤 것이 참인지를 값싸게 확인할 방법이 없을 때, 그것이 자기 자신과 일치하는지, 또는 이미 그것에 동의할 준비가 된 누군가와 일치하는지를 확인하고 싶은 유혹이 생깁니다. 그것은 진짜 답으로 가는 지름길이 아닙니다. 진짜 답의 옷을 걸친 다른 질문입니다. 그리고 이를 잡아내는 유일한 방법은, 다른 누군가가 먼저 그렇게 하기 전에 그 검증을 통과하도록 일부러 만들어진 입력을 의도적으로 찾아 나서는 것입니다.

출처: Grossman, M. R., & Cormack, G. V. (2012). Inconsistent Responsiveness Determination in Document Review: Difference of Opinion or Human Error? 32 Pace Law Review 267. Hedin, B., Tomlinson, S., Baron, J. R., & Oard, D. W., Overview of the TREC 2009 Legal Track.출처: Pace Law Review 32:2 · TREC 2009 Legal Track overview