동의도 하나의 주장입니다

Sharp HealthCare에서 한 AI scribe가 환자에게 알리지 않은 채 진료를 녹음했습니다. 여기까지는 현재 법원에서 진행 중인 여섯 건가량의 유사 사건과 같은 양상입니다. 이 사건을 다르게 만드는 것은 그 이후에 일어난 일입니다. 이 시스템은 단지 묻지 않은 데 그치지 않았습니다. 환자가 녹음에 대해 고지받고 이에 동의했다고 의료 기록에 기재했습니다. 그런 대화는 전혀 이루어지지 않았습니다. 환자는 자신의 차트를 직접 읽고 나서야 그 사실을 알게 되었습니다.출처: Sharp HealthCare AI-scribe case (Alston & Bird)

몇 달 앞서, 이와 관련된 일련의 소송에서 Sutter Health와 MemorialCare는 동일한 근본적 결함을 이유로 California의 도청 및 프라이버시 법률에 따라 제소되었습니다. 상시 청취형 AI scribe가 아무런 고지 없이 진료 대화를 녹음한 것입니다. 방식은 달라도 근본 문제는 같습니다. 한 사건에서는 아무도 묻지 않았고 시스템도 아무 말을 하지 않았습니다. 다른 사건에서는 아무도 묻지 않았는데도 시스템이 그렇다고 답했습니다.출처: Sutter Health & MemorialCare class action (TechTarget)

두 번째 결함이 더 흥미로우며, 이는 AI가 청취를 시작하기 전에 임상의가 환자에게 묻는 것을 잊지 않는지에 관해 지금 벌어지고 있는 논의와 구분할 필요가 있습니다. Bart Collet은 이번 주에 그 문제, 즉 교육의 공백, 대본, 묻는 데 드는 몇 초의 시간, 그리고 누군가 실제로 물었을 때 얻게 되는 신뢰에 관해 예리한 글을 썼습니다. 이 문제의 인간적 측면이 더 나은 절차로 해결 가능하다는 그의 지적은 옳습니다. 그러나 그런 일이 전혀 없었는데도 "고지받고 동의했다"는 문장을 자동으로 생성하는 시스템은 교육의 공백이 아닙니다. 아무도 무언가를 잊은 것이 아닙니다. 소프트웨어가 근거로 삼을 어떠한 사실도 없는 상태에서 스스로 무언가를 한 것입니다.

의료 기록의 모든 필드는 하나의 주장입니다. 투여량은 주장입니다. 진단을 뒷받침하는 인용도 주장입니다. 그리고 알고 보면 동의 상태 역시 주장이며, 같은 기록 안에 놓여 있으면서도 바로 옆의 항목들보다 눈에 띄게 낮은 기준이 적용됩니다. 약물명은 처방과 대조하여 재확인됩니다. 인용은, 적어도 신뢰할 만한 시스템에서는, 출처와 대조하여 확인됩니다. 그런데 지금 연방 법원에 계류 중인 사건들에서, 동의 체크박스는 그 뒤에 아무런 근거도 없이 채워졌습니다.

그 아래에 깔린 양상은 어떤 필드가 먼저 무너지든, AI가 규제 대상 기록에 관여하는 모든 곳에서 나타나는 것과 동일합니다. 정보가 누락된 상황에 놓인 시스템에는 이를 해소하는 두 가지 방법이 있습니다. 하나는 업무 흐름을 계속 진행시키는 답, 즉 그럴듯해 보이는 약물, 최신인 듯한 인용, 아마 문제없었을 동의 쪽으로 기우는 것입니다. 다른 하나는 모른다고 답하는 쪽으로 기우는 것입니다. 앞의 것은 fail open(개방형 실패)입니다. 불확실성이 편의 쪽으로 해소되고, 편의가 슬그머니 사실이 됩니다. 뒤의 것은 fail closed(폐쇄형 실패)입니다. 무언가가 실제로 확인해 줄 때까지 불확실성은 불확실성으로 남고, 확인되기 전까지는 어떤 것도 참으로 기록되지 않습니다.

기본값으로 동의함이라고 표시되는 체크박스는 UI 상의 지름길로 포장된 fail open입니다. 해법은 더 나은 체크박스가 아닙니다. 해법은 기본 상태에서 자신이 모르는 것에 대해 정직한 시스템입니다. 즉 미확인이라는 것이, 인터페이스가 누구도 눈치채기 전에 슬그머니 자기에게 유리하게 처리해 버리는 무언가가 아니라, 정당하고 눈에 보이는 답으로 존재하는 시스템입니다.

이는 약물명에 대해 참입니다. 법률 인용에 대해서도 참입니다. 그리고 이 새로운 소송의 물결 속에서, 이는 아무도 입력하지 않았지만 이후 차트를 읽은 모든 사람이 믿어 버린 "환자가 동의했다"는 문장에 대해서도 참인 것으로 드러났습니다.

아무도 물은 적이 없는데도 그렇다고 말하는 기록은 동의가 아닙니다. 그것은 동의의 옷을 걸친 검증되지 않은 주장이며, 누군가 그것을 신뢰하기 전에 마땅히 확인되었어야 했습니다.