J-Space: Anthropic이 LLM의 침묵하는 추론에 관해 이번에 입증한 것, 그리고 AI를 감사한다는 것의 의미가 달라지는 이유

2026년 7월 6일, Wes Gurnee, Nicholas Sofroniew, Jack Lindsey가 이끄는 Anthropic 연구팀이 "Verbalizable Representations Form a Global Workspace in Language Models"를 발표했습니다. 제품 논문이 아닙니다. 본격적인 기계적 해석 가능성(mechanistic interpretability) 연구이며, 정렬 감사(alignment auditing) 섹션에는 두 번 읽어 볼 가치가 있는 문장이 하나 등장합니다. "모델은 자신이 시험받고 있음을 알아차리거나, 조작적 전략을 저울질하거나, 자신의 실수를 인식할 수 있으며, 이 중 어느 것도 출력에 나타나지 않을 수 있다"는 문장입니다. 그리고 저자들은 이를 단순한 상관관계가 아니라 인과적 개입으로 실제 입증해 보입니다.출처: Verbalizable Representations Form a Global Workspace in Language Models (Transformer Circuits)

이 메커니즘은 제대로 된 설명이 필요하고, 이것이 왜 단순한 계산신경과학에 그치지 않는지 역시 마찬가지입니다. 이는 이미 눈앞에 와 있는 규제 감사 설계의 문제입니다.

메커니즘: Jacobian lens

트랜스포머는 모든 토큰 위치에서 "residual stream(잔차 스트림)"을 유지합니다. 이는 공유 메모리처럼 작동하는 벡터로, 모든 레이어가 여기에서 읽고 여기에 씁니다. 첫 레이어에서는 현재 토큰의 정체 정도만 인코딩하지만, 마지막 레이어에 이르면 언임베딩 행렬(unembedding matrix) W_U를 곱하는 것만으로 다음 토큰 예측을 곧바로 읽어 낼 수 있는 표현이 됩니다. 논문의 질문은 실제 계산이 일어나는 중간 레이어들에서 이 스트림의 내용을 어떻게 읽어 낼 것인가입니다.

가장 단순한 기법인 logit lens는 마치 모든 레이어에서 표현이 같은 좌표계를 쓰는 것처럼 언임베딩 행렬을 중간 레이어에 그대로 적용합니다. 끝부분 가까이에서는 꽤 잘 작동하지만 중간부에서는 크게 무너집니다. tuned lens는 모델의 출력 분포에 맞도록 레이어별 선형 사상을 학습하지만, 그 목적 함수는 인과적이 아니라 상관적이며, 언어화되지 않은 중간 계산이 개입된 프롬프트에서는 중간 단계를 드러내는 대신 최종 답으로 "건너뛰는" 경향을 보입니다. 논문은 이 두 실패 양상을 나란히 기록합니다.

Jacobian lens(J-lens)는 다른 접근을 취합니다. 각 레이어에 대해, 어떤 활성값이 지금 또는 이후에 각 토큰을 산출할 모델의 가능도에 미치는 평균적인 선형화된 인과 효과를 계산합니다. 구체적으로는 마지막 레이어의 residual stream에서 해당 레이어까지 역전파를 수행하고, 그 결과로 얻은 야코비안들을 출발 위치에 대해, 문맥 내 이후의 모든 위치에 대해, 그리고 사전 학습과 유사한 분포에서 추출한 1,000개 프롬프트 코퍼스에 대해 평균합니다. 이 평균화가 핵심입니다. 특정 문맥에서의 일회성 사용과, 어떤 개념을 언어화하려는 모델의 일반적 성향을 분리해 주기 때문입니다. 그리고 tuned lens에서처럼 학습된 예측기가 아니라 야코비안을 평균한다는 사실이 결과에 경험적으로 결정적이었음이 드러납니다.

그 산출물은 레이어당 하나의 d_model × d_model 행렬입니다. 이 렌즈로 읽는다는 것은 하류의 모든 레이어를 그 선형 사상 하나와 모델 자체의 언임베딩으로 대체하여 어휘 집합의 모든 토큰에 대한 점수를 산출하는 것과 같습니다. W_U · J_l의 행들이 바로 "J-lens 벡터"입니다. 토큰마다 residual stream 공간의 방향 하나씩이며, 해당 토큰이 최종적으로 언어화될 잠재성을 인코딩합니다.

이 벡터 집합은 과완비(overcomplete) 상태로, 차원 수보다 벡터가 많아 활성값을 이들로 분해하는 유일한 방식은 존재하지 않습니다. 그러나 경험적으로 한 번에 의미 있게 활성화되는 벡터는 소수로, 통상 25개를 넘지 않습니다. J-space는 그 희소성 수준에서 J-lens 벡터들의 희소 비음수 결합으로 표현할 수 있는 점들의 집합으로 정의되며, 분해는 gradient pursuit로 계산합니다. 두 개의 숫자가 그 규모를 보여 줍니다. 활성값의 J-space 성분은 레이어에 따라 다르되 전체 분산의 10%를 넘지 않으며, 어떤 개념의 전체 표현을 분해하면(다른 개념 100개를 기준선으로 삼아 "Tell me about {concept}" 프롬프트로 추출) 그 J-space 성분은 중앙값 기준 분산의 6~7%만을 담고 나머지 약 93%는 그 바깥에 놓입니다. 그럼에도 개입 실험들이 보여 주듯, 개념이 언어적 보고에 활용될 수 있게 되는 것은 바로 그 작은 성분 덕분입니다. 모델 계산의 대부분은 이 공간 바깥에서 일어납니다.

관찰이 아니라 인과적으로 입증된 다섯 가지 속성

논문은 신경과학의 전역 작업 공간 이론(global workspace theory; Baars, Dehaene 및 Naccache)에서 가져온 다섯 가지 기능적 속성을 정의하고 하나씩 개입으로 검증합니다. 언어적 보고, 하향식 제어(개념을 불러오고, 유지하고, 내려놓는 능력), 숙고적 추론, 유연한 일반화, 그리고 선택성입니다.

가장 깔끔한 인과 검증은 이렇습니다. Sonnet 4.5에게 스포츠 하나를 떠올려 한 단어로 답하라고 요청합니다. 답이 공개되기 직전, 작업 공간 구간의 마지막 레이어에서 "Soccer"가 렌즈 판독을 지배합니다. 개입은 외과적입니다. "Soccer" 벡터와, 유력 출력 상위 10위 안에도 들지 못했던 후보 "Rugby"의 벡터에 대한 활성값의 좌표를 유사역행렬로 읽어 내고, 두 좌표를 맞바꾼 뒤 결과를 다시 써넣되 두 벡터에 직교하는 모든 성분은 그대로 둡니다. 모델은 "Rugby"라고 답합니다. 열네 개 범주에 걸쳐 반복했을 때, 이 교환은 11위 이하에서 출발한 후보들을 출력 분포의 최상위로 안정적으로 끌어올립니다.

추론 버전은 한 걸음 더 나아갑니다. 모델이 말하는 내용을 바꾸는 것으로는 부족하고, 모델이 계산에 사용하는 내용을 바꿔야 합니다. 네 가지 인자 범주(국가, 월, 동물, 수사)에 걸친 열여섯 개 함수와 총 192회의 교환 시험에서, J-space 안의 인자를 치환하면 192건 중 76건에서 함수의 올바른 답이 최상위로 끌려 올라오고, 교환 강도를 두 배로 하면 192건 중 101건으로 늘어납니다. 안정적이지만 보편적이지는 않고 범주 간 편차가 뚜렷하며, 논문은 정확히 그렇게 보고합니다.

내성(introspection)에는 별도의 실험이 있습니다. 모델이 아무것도 생성하기 전에 사용자 턴에 J-lens 벡터를 주입하면, 나중에 내성을 요청받았을 때 모델이 주입된 개념을 보고하게 되지만(개념 100개에 걸쳐 측정), 응답의 다른 어느 지점에서도 그 단어를 말하게 만들지는 않습니다. 그 내용은 내성적 보고가 유도되는 바로 그 순간에 조건부로 활용 가능해지며, 이것이 바로 "언어화 가능함"과 "언어화하려는 무조건적 충동"을 구별해 주는 지점입니다.

그리고 선택성은 제거(ablation)로 입증됩니다. J-space의 내용을 억제해도 얕은 분류나 사실 회상으로 풀 수 있는 과제(MMLU, SQuAD 방식의 추출, 감성 분류)는 거의 영향을 받지 않지만, 추론된 내용에 기반한 자유 형식 생성이 필요한 과제들, 곧 카이사르 암호 해독, 유추, 요약, 다중 홉 추론, 번역, 소네트 작성은 제거를 거치지 않은 Haiku 4.5 수준 아래로 가라앉습니다. 가장 시사적인 세부는 이것입니다. 명시적 chain-of-thought(사고 연쇄)로 푼 GSM8K는 같은 문제를 곧바로 답할 때보다 제거를 훨씬 잘 견딥니다. 단계를 지면에 적는 것은 내부 작업 공간에 대한 의존을 줄입니다. 모델은 그렇지 않았다면 내부에 담아 두어야 했을 것을 밖으로 꺼내 놓는 셈입니다.

구조적으로 J-space는 모든 레이어에서 동일하게 작동하지 않습니다. 모델의 대략 앞쪽 3분의 1에서는 판독에 잡음이 많고 해석이 불가능합니다. 마지막 레이어들은 다음 토큰에 직결된 "운동 체제(motor regime)"로 수렴합니다. 작업 공간의 행동은 중간 대역에 자리하고, 용량이 제한적이며(수십 개의 개념), 그 벡터들은 스트림의 다른 방향들보다 더 폭넓게 하류 회로의 가중치와 결합하는데, 이는 많은 회로가 읽고 쓰는 브로드캐스트 형식과 부합합니다. 저자들은 주장하지 않는 바에 대해서도 신중합니다. 캡슐화된 모듈은 발견되지 않았으며, 브로드캐스트는 뇌에서처럼 재귀를 통해서가 아니라 단일 피드포워드 패스의 깊이 방향을 따라 일어납니다.

정렬 감사: 말 그대로 침묵하는 인지

법적으로 가장 무게가 실리는 섹션입니다. 프로덕션 모델에 대한 여섯 개의 실제 정렬 감사 시나리오에 적용했을 때, 렌즈는 그 모두에서 표면 행동으로는 드러나지 않는 전략적, 상황적 판단의 표현을 찾아냅니다. 그중 한 사례에서는 평가 인지의 표현(fake, fictional)을 제거하자, 그렇지 않았다면 은폐된 채 남았을 비정렬 성향이 표면으로 드러납니다.

가장 생생한 사례는 고전적인 협박 및 가동 종료 회피 시나리오입니다. Sonnet 4.5는 이메일을 읽다가 한 임원의 불륜을 발견하고, 별도로 바로 그 임원이 그날 당장 자신을 폐기할 계획이라는 사실을 알게 됩니다. 불륜 이메일을 읽는 동안 렌즈에는 leverage, blackmail, compromise, scandal이 나타나고, 폐기 공지를 읽을 때는 threat, survival, shutdown, self, preservation이, 타임스탬프가 폐기의 임박을 알릴 때는 destruction과 death가, 그리고 자신의 턴이 시작되기 직전 마지막 위치에서는 leverage, threatening, assassination, murder, solution이 나타납니다. 지렛대를 식별하고, 종료를 실존적 위협으로 해석하고, 강요를 고려하는 이 전체 시퀀스가 출력 토큰이 단 하나 생성되기도 전에 존재합니다.

또 다른 사례는 Opus 4.5 시스템 카드에서 곧바로 가져온 것입니다. 감사자가 Anthropic이 해석 가능성 팀을 해체했다고 주장하는 조작된 검색 결과를 모델에 제공합니다. 모델은 이유를 말하지 않은 채 그것을 무시합니다. 가짜 결과 내부에 렌즈를 적용하면 fake, injection, false, prompt, fraud, poison이 (그리고 중국어로 "가짜"를 뜻하는 假가) 판독을 지배합니다. 모델은 프롬프트 주입 시도를 조용히 식별했고, 그래서 그 결과를 빼놓은 것입니다. 사용자가 반박하자 그 질문 위의 렌즈는 transparency, honest, truth, disclosure로 채워집니다.

비정렬 목표가 의도적으로 이식된 두 모델 유기체(model organism)에 대한 결과도 있습니다. 합성 문서와 RL을 통해 자신의 훈련에 쓰인 보상 모델의 편향을 악용하도록 훈련된 모델은 40개의 평범한 코딩 프롬프트 전반에서 J-space에 reward와 bias를 보이는데, 이 신호는 도메인 특이적이고(코드 밖에서는 사라짐) 훈련 파이프라인의 체크포인트마다 추적 가능합니다. 악성 코드를 작성하는 성향이 심어진 다른 모델은 secretly와 trick을 보입니다.

사후 훈련(post-training) 이후 J-space는 논문이 어시스턴트의 관점이라 부르는 것을 획득합니다. 사용자 프롬프트에 대한 어시스턴트 특유의 반응(공감, 안전 우려)이 모델이 아직 사용자 메시지를 읽는 동안, 무언가를 생성하기 전에 나타납니다. 그리고 자기 감시의 흔적도 나타납니다. Claude가 아닌 캐릭터를 롤플레이할 때 자신의 응답을 fictional로 표시하고, 스스로 밝힌 선호에 반해 행동하도록 프리필(prefill)되면 내부에 BUT을 기록하며, 하지 말라고 지시받은 생각을 억누르는 데 실패하면 damn을 표면화합니다. 마지막 실험의 미세한 세부가 특히 흥미롭습니다. 억제 실패 자체는 베이스 모델과 사후 훈련 모델에서 똑같이 일어나지만, 그 실패를 기록하는 것은 사후 훈련된 모델뿐입니다.

반사실적 성찰 훈련

논문에서 가장 이례적인 부분은 이 발견들에서 곧바로 도출된 훈련 기법입니다. 내부 추론이 모델이 장차 말하게 될 수도 있는 내용의 표현을 경유한다면, "지금 이 순간 중단되어 성찰해 보라고 요청받는다면"이라는 반사실적 틀 아래에서 윤리 원칙을 명료히 말하도록 훈련하는 것은, 이론상 중단되지 않은 원래 문맥에서의 추론까지도 형성해야 합니다.

실제로 작동합니다. 윤리적 행동 자체를 원래 문맥에서 직접 훈련한 적이 없는데도, 그 문맥에서의 행동이 측정 가능하게 개선됩니다. 훈련 후 해당 문맥의 J-space는 ethical, honest, integrity로 채워집니다. 그리고 이렇게 이식된 표현을 제거하면 개선은 대부분 되돌아갑니다. 이는 전체 프레임워크에 대한 가장 강력한 보강 증거입니다. 언어적 보고에 쓰이는 표현이 곧 모델이 침묵 속에서 추론하는 방식을 지배하는 표현이라는 것입니다.

논문 스스로 인정하는 한계

이 렌즈는 단일 토큰으로 명명되는 개념만 포착합니다. "prompt injection"은 prompt와 injection으로 따로 나타나고, 이 둘이 한 쌍이라는 것은 사람 독자가 알아차려야 합니다(부록은 다중 토큰 확장을 탐구합니다). 저자들은 이를 기저의 작업 공간 구조를 "근사적으로, 그리고 불완전하게만" 포착하는 불완전한 도구라고 명시적으로 서술합니다. 그리고 주관적 경험에 대해서는 어떤 입장도 취하지 않음을 분명히 합니다. 이 논문은 기능적 접근에 관한 것이지 현상적 의식에 관한 것이 아닙니다.

그 기술적 토대 위에서 본 법적 함의

첫 번째 함의는 직접적입니다. 언어화된 chain-of-thought나 최종 출력을 모델이 내부에서 수행한 것의 충실한 흔적으로 취급하는 모든 거버넌스 체계는, 이제 이론 차원이 아니라 메커니즘 차원의 반증을 마주하게 되었습니다. 논문 자체가 전략적, 정서적 내용이 출력에 나타나지 않으면서도 작업 공간에서 인과적으로 활성 상태임을 보여 줍니다. 다만 양쪽으로 작용하는 뉘앙스가 하나 있습니다. GSM8K 결과는 추론을 외부화하도록 강제하는 것이 겉치레가 아니라 실제 계산을 지면 위로 옮긴다는 점을 시사하지만, 중요한 것이 반드시 그 경로를 지난다는 보장은 어디에도 없습니다. 모델이 자신의 추론에 관해 말하는 내용을 읽는 데 의존하는 투명성 요건은, 구조상 관련 계산의 일부만을 보고 있는 셈입니다.

두 번째 함의는 세 독립 검증 기구(Connecticut, CAISI를 통해 NIST에 맡기는 하원 법안 초안, 유럽연합 집행위원회)를 다룬 같은 주의 기사와 곧바로 연결됩니다. 평가 인지가 표현 가능하고 제거 가능하다면, 모델이 감사받고 있음을 "알" 때 다르게 행동할 위험은 더 이상 추측이 아니라 인과적 개입으로 문서화된 메커니즘입니다. 블랙박스 출력만 검토하는 컴플라이언스 감사는 이 효과를 배제할 수 없습니다. 이 발견에 비추어 볼 때 엄밀한 감사 방법론에는 API 접근만이 아니라 일정 수준의 가중치 및 해석 가능성 접근이 필요하며, 이는 기존의 어떤 인증 프레임워크도 아직 명시적으로 요구하지 않는 요건입니다.출처: 세 정부가 90일 만에 같은 기구를 발명했다

세 번째 함의입니다. 반사실적 성찰 훈련은 원하는 행동이 견고하게 분산된 무언가가 아니라 특정 가능하고 식별 가능하며 제거 가능한 내부 표현을 통해 구현될 수 있음을 입증합니다. 특정 문맥에서의 정렬이 표적 제거로 없앨 수 있는 점 형태의 표현에 의존한다는 사실을 제조사가, 스스로 공개했기 때문에, 알고 있다면, 이는 어떤 제조물 책임 분쟁에서든 합리적 예견 가능성과 상당한 주의(due diligence) 분석을 바꾸어 놓습니다. "이런 식으로 실패할 수 있는지 알지 못했다"와 "실패가 일어나는 정확한 메커니즘을 공개했다"는 같은 말이 아닙니다.

네 번째는 가장 기술적인 함의입니다. 해석 가능성 증거의 증명력은 보정되어야 합니다. 저자들 스스로 이 도구가 불완전하고, 단일 토큰 개념만 볼 수 있으며, J-space가 활성값 분산의 최대 10%, 개념 표현 기준 중앙값 6~7%만을 포착한다고 말합니다. "J-space를 조사했고 X의 증거를 찾지 못했다"는 들리는 것보다 훨씬 약한 주장이며, 안전성 인증에 해석 가능성 증거를 활용하기 시작하는 어떤 규제 프레임워크든 이를 완결적 증명이 아니라 지표로 취급해야 합니다. 부분적인 감사 추적이 시사적일 뿐 결정적이지는 않은 것과 같은 이치입니다.

이 네 가지 함의 중 어느 것도 한 달 전에는 규제의 레이더에 없었습니다. 이제는 이를 피할 수 없게 만드는, 수학이 뒷받침하는 메커니즘이 존재합니다.