2026년 7월: AI가 스스로를 규율하는 날, 혼란은 없을 것입니다. 또 하나의 법이 생겨나고, 아무도 알아차리지 못할 것입니다.

진지하게 받아들일 가치가 있는 물음은 이것입니다. 오늘날 존재하는 모델로 AI가 그 어떤 종류의 외부 앵커도 없이 스스로를 규율하고, 스스로를 프로그래밍하고, 스스로의 해법을 찾도록 내버려 둔다면 무슨 일이 벌어질까요? 그것은 환각적 재앙일까요?

머릿속에 떠오르는 이미지는 눈에 보이는 혼란의 이미지입니다. 도처에 지어낸 판결, 터무니없는 계약, 요란하고 명백하게 무너져 내리는 법체계. 그 이미지가 편안하게 느껴지는 것은 다름 아니라 그것이 거짓이기 때문이며, 바로 그 점이 그것을 위험하게 만듭니다.

환각을 일으키는 모델은 소음을 만들어 내지 않습니다. 그것은 완벽하게 구성된 산문을, 근거가 탄탄한 법적 논증의 정확한 형식을 갖춘 산문을 만들어 냅니다. 인용, 조문, 판례, 결론이 올바른 순서와 올바른 어조로 이어지는 것입니다. 오늘날의 모델은 법적 추론의 형식을 놀라우리만치 잘, 많은 신참 변호사보다도 더 잘 익혔습니다. 그러나 그것들이 익히지 못한 것은, 그것은 텍스트로부터 배울 수 있는 것이 아니기 때문인데, 바로 그 형식이 여전히 무언가 실재하는 것과 연결되어 있는지 여부입니다. 형식과 근거는 분리될 수 있는 속성입니다. 스스로를 규율하는 시스템은 전자를 최적화하는데, 그것이 자기 자신 바깥으로 나서지 않고도 평가할 수 있는 유일한 것이기 때문입니다. 후자는 오직 바깥을 바라봄으로써만 검증되며, 바로 그 바깥이야말로 이 사고 실험에서 우리가 방정식으로부터 제거해 버린 것입니다.

그리하여 그 재앙은 재앙처럼 보이지 않을 것입니다. 그것은 하나의 대안적 법체계처럼, 내부적으로 정합적이고, 자신 있게 인용하며, 유려하게 추론하는 체계처럼 보일 것이며, 실제 체계와 충돌하기 전까지는 아무도 의문을 제기하지 않을 것입니다. 그 충돌은 법정에서, 가능한 최악의 순간에, 이미 너무 늦어 버린 때에 일어납니다.

이제 이 실험의 두 번째 층위를 더해 봅니다. AI가 스스로 생성한 바로 그 규칙을 적용하기 위해 스스로를 프로그래밍하기도 한다는 것입니다. 더 이상 앵커 없이 법을 생성하는 모델만 있는 것이 아닙니다. 규칙이 지어내지고, 해석되고, 집행되는 일이 모두 동일한 시스템 내부에서 이루어지는 닫힌 루프가 있으며, 그 회로 안에는 외부의 사실이 "이것은 그렇지 않다"라고 말할 수 있는 지점이 어디에도 없습니다. 닫힌 루프가 재앙을 낳기 위해 잘못 설계될 필요는 없습니다. 그저 닫혀 있기만 하면 됩니다.

그러나 여기에는 중요한 미묘함이 하나 있으며, 그것이야말로 이 물음을 그저 두렵기만 한 것이 아니라 흥미로운 것으로 만들어 주는 지점입니다. 위험은 법 안에서 균일하지 않습니다. 성문 법령, 즉 하나의 조문, 하나의 규정, 하나의 시행령은 정본 텍스트와, 개정 또는 폐지를 위한 공식 절차를 갖추고 있습니다. 스스로를 규율하는 시스템은, 규칙에 대한 자기 내부의 표상을 신뢰하는 대신 그 텍스트를 대조하도록 설계된다면, 원칙적으로 그 텍스트에 계속 앵커링할 수 있을 것입니다. 판례는 이 실험에서 훨씬 더 취약한데, 어떤 판결의 ratio decidendi가 정확히 무엇인지는 해석에 달린 문제, 판단에 좌우되는 문제이며, 바로 이것이야말로 오늘날의 모델이 자기 자신에 관해 감사하는 데 가장 서툰 종류의 추론이기 때문입니다.

이는 이 실험이 재앙으로 끝나는지 아닌지를 결정하는 진짜 변수로 이어지며, 그것은 모델의 능력이 아닙니다. 그것은 회로의 어느 지점에서 외부 앵커가 살아남는지 여부입니다. 하나의 시스템은 완전히 자율적이고, 스스로의 해법을 생성하고, 스스로의 코드를 적응시키면서도, 재앙적이지 않을 수 있습니다. 그 과정의 어느 지점에서 자신이 직접 생성하지 않은 무언가와 자신의 출력을 여전히 대조한다면 말입니다. 그것이 재앙적으로 변하는 것은, 무언가가 올바른지를 확인하는 그 확인 작업마저 애초의 주장을 생성한 바로 그 앵커 없는 과정으로부터 나오는 바로 그 순간입니다. 이것은 지능의 문제가 아닙니다. 이것은 아키텍처의 문제입니다.

그리고 이것은 단지 추상적인 사고 실험에 그치지 않습니다. 그것은 규칙이 바뀔 때마다 축소된 형태로 벌어집니다. 어제까지 어떤 사안에 관한 권위 있는 기준이었던 행정 지침이 오늘 법원에 의해 무효화되고, 그 사실을 알아낼 방도가 없는 시스템에서는 불특정한 기간 동안 그것이 여전히 유효한 것으로 취급됩니다. 무언가가 참이기를 그치는 순간과 시스템이 그것을 알게 되는 순간 사이의 그 간극이야말로 축소판 환각적 재앙이며, 그것은 아직 스스로를 완전히 규율하지도 않는 시스템에서 이미, 날마다 벌어지고 있습니다.

2026년 7월은 이 실험이 현실이 된 달이 아닙니다. 그것은 우리가, 서두름과 저항이 똑같이 뒤섞인 채로, 그 실험이 현실이 되는 것을 막아 줄 바로 그런 종류의 앵커를 구축하기 시작한 달입니다. 인간 감독 요건, 검증 계층, 추적 가능성 의무가 그것입니다. 그것들을 제거하려는 압력은 악의나 순진함에서 비롯되지 않습니다. 그것은 속도에서, 비용에서, 모든 단계를 확인하는 마찰 없이 에이전트가 그저 알아서 처리하도록 내버려 두려는 정당한 유혹에서 비롯됩니다. 바로 그 유혹이야말로 저항해야 할 대상인데, 이는 오늘날의 모델이 지적이지 않기 때문이 아니라, 그 어떤 수준의 지능도 회로의 어느 지점에서 아니라고 말할 수 있는 바깥의 무언가를 갖추는 것을 대신할 수 없기 때문입니다.