신뢰의 비대칭: 우리는 왜 인간의 실수를 용서하고 기계의 실수를 두려워하는가

한 판사가 좋지 않은 오후를 보냅니다. 피곤하고 주의가 흐트러진 상태에서, 질문을 받으면 부인할 무의식적 편향을 안은 채, 그는 직전 사건보다 조금 덜 주의 깊게 기록을 읽습니다. 그 판결은 잘못되었거나, 적어도 마땅히 그러했어야 할 수준에 미치지 못합니다. 아무도 그 일을 기사로 쓰지 않습니다. 표제 기사도, 규제 당국의 조사도, 판사라는 직역 전체가 그 직무를 맡을 만한지에 대한 공개적 결산도 없습니다.

같은 법원을 보조하는 AI 시스템이 환각 인용을 한 번 만들어 냅니다. 그것은 기사가 됩니다. 때로는 법학 논문이 됩니다. 때로는 시범 사업 전체가 중단되는 이유가 됩니다.

이를 불공정하다고 부르고 싶은 직관이 생기며, 그 직관은 일축하기보다 진지하게 다룰 가치가 있습니다. 그러나 정직한 답은 우리가 AI에 대해 비합리적으로 굴고 있다는 것이 아닙니다. 멀리서 보면 비슷해 보이는 두 실패 양식이 실은 전혀 같은 형태가 아니라는 것입니다.

편향에 해당하는 부분

이 비대칭의 일부는 실제로 사람이 위험을 처리하는 방식 그 자체이며, 1970년대 후반부터 연구되어 왔습니다. Fischhoff, Slovic, Lichtenstein과 동료들이 1978년에 제시하고 Slovic이 1987년 Science 논평에서 정리한 심리측정 패러다임은, 위험에 대한 일반인의 판단이 예상 사망자 수가 아니라 두 개의 차원을 따른다는 점을 밝혀냈습니다. Slovic은 이를 "dread risk"(공포 위험), 즉 통제 불가능하다는 인식, 두려움, 파국적 잠재력, 치명적 결과, 그리고 위험과 편익의 불공평한 분배로 규정되는 차원과, "unknown risk"(미지 위험), 즉 관찰 불가능하고 알려지지 않았으며 새롭고 피해가 지연된다고 판단되는 위험 요인으로 규정되는 차원으로 명명했습니다. 둘 중 지배적인 것은 공포입니다. 이 발견은 사람들이 셈을 하지 못한다는 뜻이 아닙니다. 직접 물으면 일반인은 연간 사망자 수를 전문가와 대체로 비슷하게 추정합니다. 다만 그 추정치가 그들의 위험 감각을 구성하는 재료가 아닐 뿐입니다.출처: Slovic, Perception of Risk, Science 1987 · Fischhoff et al., 1978

승객 마일당으로 보면 자동차 운전은 정기 상업 항공보다 약 100배 더 치명적입니다. Ian Savage의 미국 통계에서 10억 승객 마일당 사망자는 각각 7.28명과 0.07명입니다. 매년 약 39,000명의 미국인이 도로에서 사망합니다. 분모를 달리하면 격차는 크게 줄어들고, 마일당이 아니라 이동 횟수당으로 측정하면 두 교통수단은 훨씬 가까워집니다. 분모의 선택이 많은 역할을 하고 있으므로 이 점은 밝혀 둘 필요가 있습니다. 그럼에도 여객기 한 대의 추락은 그에 상응하는 규모의 도로 사망자 수가 결코 끌어내지 못하는 조사와 규제의 관심을 불러옵니다.출처: Savage, fatality risks across United States transportation modes

환각 인용은 두 차원에 동시에 내려앉습니다. 그것은 새롭고 잘 이해되지 않았으며, 이는 미지 위험입니다. 그것은 다른 누군가가 선택한 시스템을 통해 도달하고, 한 사람의 경력 전반에 퍼진 산발적 양상이 아니라 이름 붙일 수 있는 단일 사건으로 응축되며, 이는 공포입니다. 그 심리만으로 판단하면 이러한 반응은 예측 가능하며 사실 AI에 관한 것이 아닙니다. 새롭고 불투명하며 비자발적으로 마주치는 위험이라면 무엇에든 똑같이 일어났을 것입니다.

이는 실재하며, 이중 잣대처럼 보이는 것의 일부를 설명합니다. 그러나 전부를 설명하지는 못합니다.

편향이 아닌 부분

편향되었거나 지친 판사는 특유의 오류를 만들어 냅니다. 그것은 이 사건에서, 이 오후에, 이 특정한 사람의 특정하게 나빴던 하루에 의해 형성되어 일어납니다. 그것은 한정되어 있습니다. 다음 사건에서 자동으로 재발하지 않습니다. 한 경력을 통틀어 그러한 오류들은 어떤 것은 이쪽으로, 어떤 것은 저쪽으로 흩어지고, 제도는 상소와 선례, 그리고 직업적 평판의 더딘 소모를 통해 그 잡음을 불완전하게 흡수합니다.

같은 근본 결함을 지닌 모델은 흩어지지 않습니다. 반복합니다. 같은 종류의 조항에 대한 같은 오독, 같은 범주의 질문에 대한 같은 맹점이, 그 패턴이 재현될 때마다 동일하게 작동하며, 시스템이 닿는 모든 사안에 걸쳐, 동시에, 누군가 알아차릴 때까지 이어집니다. 그 실패는 나빴던 하루의 오후가 아닙니다. 탐지되기까지 걸리는 시간 내내, 소리 없이, 모든 오후가 한꺼번에입니다.

이는 어느 쪽이 더 정확한가에 대한 주장이 아닙니다. 여러 지표에서 기계는 지친 판사보다 평균적으로 낫습니다. 이는 오류가 발생했을 때 그 오류가 취하는 형태의 차이이며, 그 형태는 어떤 단일 사례를 따로 떼어 본다고 해서 보이지 않습니다.

이 중 어느 것도 우리의 관찰이 아닙니다. 신뢰성 공학은 수십 년 동안 이를 "common-cause failure"(공통원인고장)라고 불러 왔습니다. 신뢰성을 높이려고 도입한 바로 그 중복성을 무력화하는 종속적 고장이며, 원자력 발전소 안전 계통의 이용 불능 가운데 상당한 몫을 차지하는 것으로 추정됩니다. Kleinberg와 Raghavan은 2021년에 그 알고리즘 판본을 정식화하여, 하나의 공유된 알고리즘으로 수렴하는 의사결정자들이 개별적으로는 덜 정확한 특유의 절차를 쓰는 의사결정자들보다 집합적으로 더 나쁜 결과를 낼 수 있으며, 그러한 결과를 만드는 데 외부 충격이 필요하지 않다는 점을 보였습니다. Bommasani와 동료들은 그 따름정리를 이듬해에 보였습니다. 시스템들이 구성 요소를 공유하면, 같은 사람들이 어디에서나 거절당한다는 것입니다.출처: Kleinberg & Raghavan, Algorithmic monoculture and social welfare, PNAS 2021 · Bommasani et al., outcome homogenization, 2022

이 논지에는 한 가지 경계가 있으며, 단 하나의 사건을 손에 쥔 사람에게는 그것이 중요합니다. 상관되지 않은 오류는 다수의 독립적 결정에 걸쳐 평균화됩니다. 그러나 그 오류가 떨어진 당사자에게는 평균화되지 않으며, 아무리 총량적으로 흩어진들 자신의 사건이 하필 그 나빴던 오후였던 의뢰인에게는 도움이 되지 않습니다. 이 구분은 제도 전체가 무엇을 흡수할 수 있는가에 관한 것이지, 개별 사안이 무엇을 흡수할 수 있는가에 관한 것이 아닙니다.

이 우려는 가설이 아니지만, 세는 것보다 서술하는 편이 쉽습니다. 소송에서의 인용 조작은 이제 공개적으로 기록되고 있습니다. 이를 식별하는 법원 판결 공개 데이터베이스는 2026년 중반까지 1,600건이 넘는 사건을 기록했고, 그 가운데 약 650건은 본인소송 당사자가 아니라 변호사가 관여한 사건이었으며, 편집자는 이 집계가 하한이고 서면 검색이 용이한 관할로 치우쳐 있다고 명시합니다. 포트폴리오 수준의 대응물, 즉 결함이 검색(retrieval)이나 분류 단계의 상류 단계에 책임자 없이 자리 잡은 탓에 컴플라이언스 시스템이 고객 포트폴리오 전체에 걸쳐 같은 범주의 위반을 놓치는 경우에 대해서는, 우리가 아는 한 공표된 사례 연구가 없습니다. 그 부재 자체가 요점입니다. 책임자가 없는 실패 양식은 그것을 보고할 위치에 있는 사람도 없는 실패 양식입니다.출처: AI Hallucination Cases database

우리가 더 이상 의식하지 않게 된 장치

이 비교가 불공정하게 느껴지는 두 번째 이유가 있으며, 그것은 심리와 무관합니다. 우리는 관대해지기로 결정해서 인간의 오류에 대한 지금의 관용에 이른 것이 아닙니다. 그것을 잡아내고 바로잡고 값을 매기기 위해 수 세기에 걸쳐 막대한 기반 구조가 세워졌고, 마침내 그 기반 구조는 지극한 익숙함 때문에 보이지 않게 되었습니다.

상소심 심사가 존재하는 이유는 1심 판사가 잘못 판단하기 때문입니다. 전문직 배상책임보험이 존재하는 이유는 전문가가 실질적 피해를 낳는 실수를 하기 때문입니다. 자격 심사 기관, 동료 심사, 공개되는 징계 기록, 직업적 책임성의 장치 전체는 모두 인간의 판단이 오류 가능하다는 바로 그 이유로 세워졌으며, 그 오류 가능성에는 사과가 아니라 제도가 필요하다고 누군가 결정했기 때문에 세워졌습니다.

이제 그 어느 것도 감시로 읽히지 않습니다. 배경으로 읽힙니다. 그것은 충분히 오래되었고, 이미 신뢰받는 기관들에 충분히 널리 분산되어 있어서, 누구도 그것을 누군가가 감시당하는 일로 경험하지 않습니다. 그것은 여전히 그 자리에 있고, 사건이 상소되거나 자격이 심사될 때마다 여전히 제 몫을 하고 있습니다.

AI 시스템에는 아직 그러한 장치가 없습니다. 완벽에 대한 무리한 요구처럼 보이는 것은 그 밑바닥에서, 인간의 제도가 이미 갖춘 것과 같은 종류의 기반 구조에 대한 요구입니다. 무슨 일이 왜 일어났는지에 대한 기록, 나쁜 결과를 원인까지 되짚는 경로, 그에 답하는 이름 있는 주체, 그리고 누군가 우연히 알아차리는 데 기대지 않는 시정 장치입니다. 요구는 AI가 결코 틀리지 말라는 것이 아닙니다. 틀리더라도 그것을 잡아내도록 만들어진 제도 안에서 틀리라는 것이며, 이는 결과를 수반하는 일을 하는 모든 인간 전문가에게 조용히 요구되어 온 바로 그것입니다.

이것이 실제로 향하는 곳

그 기반 구조가 갖춰진다고 해서 기준이 사라지지는 않을 것입니다. 다만 기준처럼 느껴지지 않게 될 것입니다. 상소심 심사가 판사에 대한 비난처럼 느껴지지 않게 된 것과 같습니다. 지금 AI 시스템이 받는 감시는 그 문턱이 불공정하다는 증거가 아닙니다. 그것은 회계 장치가 아직 공개적으로, 한 번에 하나의 빈틈씩 세워지고 있다는 증거이며, 그것도 상응하는 인간의 기반 구조가 수백 년에 걸쳐 가구처럼 배경으로 잦아든 바로 그 자리에서 그렇습니다.

물어야 할 질문은 AI가 언젠가 지친 판사가 용서받듯 용서받을 것인가가 아닙니다. AI가 남기는 기록이, 수 세기의 상소와 자격 심사 기관이 인간의 판단에 대해 끝내 해내게 된 일을 첫날부터 해낼 수 있는가입니다. 개별적 실패를 추적 가능한 실패로 바꾸고, 추적 가능한 실패를 시정 가능한 실패로 바꾸는 일, 그것이 시스템이 다음으로 닿는 모든 것에 걸쳐 소리 없이 스스로를 반복하기 전에 말입니다.