J-Space: Was Anthropic soeben über das stille Schlussfolgern von LLMs demonstriert hat und warum sich damit ändert, was es bedeutet, eine KI zu auditieren

Am 6. Juli 2026 veröffentlichte ein Team von Anthropic unter der Leitung von Wes Gurnee, Nicholas Sofroniew und Jack Lindsey "Verbalizable Representations Form a Global Workspace in Language Models". Es ist kein Produkt-Paper. Es ist harte mechanistische Interpretierbarkeitsforschung, mit einem Satz im Abschnitt zum Alignment-Auditing, der es verdient, zweimal gelesen zu werden: "ein Modell könnte bemerken, dass es getestet wird, eine manipulative Strategie abwägen oder sich seiner eigenen Fehler bewusst sein, ohne dass irgendetwas davon in seinem Output erscheint". Und dann demonstrieren die Autoren genau das, mit kausaler Intervention, nicht bloß per Korrelation.Quellen: Verbalizable Representations Form a Global Workspace in Language Models (Transformer Circuits)

Der Mechanismus verdient eine echte Erklärung, und danach auch die Frage, warum das nicht bloß computationale Neurowissenschaft ist: Es handelt sich um ein Problem des regulatorischen Audit-Designs, das bereits da ist.

Der Mechanismus: die Jacobian lens

Ein Transformer unterhält an jeder Tokenposition einen "residual stream": einen Vektor, der als gemeinsamer Speicher fungiert, aus dem jede Schicht liest und in den jede Schicht schreibt. In der ersten Schicht kodiert er kaum mehr als die Identität des aktuellen Tokens; in der letzten ist er zu einer Repräsentation geworden, aus der sich die Vorhersage des nächsten Tokens direkt ablesen lässt, durch Multiplikation mit der Unembedding-Matrix W_U. Die Frage des Papers ist, wie sich der Inhalt dieses Streams in den mittleren Schichten lesen lässt, dort, wo die eigentliche Berechnung stattfindet.

Die einfachste Technik, die logit lens, wendet die Unembedding-Matrix direkt auf eine mittlere Schicht an, so als würden Repräsentationen in jeder Schicht dieselben Koordinaten verwenden. Das funktioniert gegen Ende des Netzes einigermaßen gut und verschlechtert sich in der Mitte drastisch. Die tuned lens trainiert pro Schicht eine lineare Abbildung, die die Ausgabeverteilung des Modells treffen soll, doch dieses Ziel ist korrelational, nicht kausal, und bei Prompts mit unverbalisierter Zwischenberechnung neigt sie dazu, zur endgültigen Antwort "vorzuspringen", statt die Zwischenschritte sichtbar zu machen. Das Paper dokumentiert beide Fehlermodi nebeneinander.

Die Jacobian lens (J-lens) tut etwas anderes: Sie berechnet für jede Schicht den mittleren linearisierten kausalen Effekt einer Aktivierung auf die Wahrscheinlichkeit, mit der das Modell jedes einzelne Token produziert, jetzt oder später. Konkret wird vom residual stream der letzten Schicht zur betreffenden Schicht zurückpropagiert, und die resultierenden Jacobi-Matrizen werden gemittelt: über die Quellposition, über alle nachfolgenden Positionen im Kontext und über ein Korpus von eintausend Prompts aus einer dem Pretraining ähnlichen Verteilung. Die Mittelung ist der Schlüssel: Sie trennt die allgemeine Disposition des Modells, ein Konzept zu verbalisieren, von dessen einmaliger Verwendung in einem bestimmten Kontext. Und dass hier Jacobi-Matrizen gemittelt werden und nicht, wie bei der tuned lens, ein trainierter Prädiktor, erweist sich empirisch als entscheidend für die Ergebnisse.

Das Ergebnis ist eine einzige d_model × d_model-Matrix pro Schicht. Mit der Linse zu lesen heißt, alle nachgelagerten Schichten durch diese eine lineare Abbildung zu ersetzen, gefolgt vom Unembedding des Modells selbst, was für jedes Token im Vokabular einen Score ergibt. Die Zeilen von W_U · J_l sind die "J-lens-Vektoren": pro Token eine Richtung im Raum des residual stream, die das Potenzial dieses Tokens kodiert, am Ende verbalisiert zu werden.

Die Menge ist übervollständig, mehr Vektoren als Dimensionen, es gibt also keine eindeutige Art, eine Aktivierung in sie zu zerlegen. Empirisch sind jedoch jeweils nur wenige bedeutsam aktiv, typischerweise nicht mehr als 25. Der J-space ist definiert als die Menge der Punkte, die sich als dünnbesetzte nichtnegative Kombination von J-lens-Vektoren auf diesem Sparsity-Niveau ausdrücken lassen, gelöst per gradient pursuit. Zwei Zahlen setzen den Maßstab: Die J-space-Komponente einer Aktivierung übersteigt, je nach Schicht, nie 10% ihrer Gesamtvarianz; und wenn die vollständige Repräsentation eines Konzepts zerlegt wird (extrahiert mit "Tell me about {concept}" gegen eine Baseline von einhundert anderen Konzepten), trägt ihre J-space-Komponente im Median nur 6-7% der Varianz, die übrigen ~93% liegen außerhalb. Und doch ist es, wie die Interventionen zeigen, gerade diese kleine Komponente, die dafür verantwortlich ist, dass das Konzept für den verbalen Bericht verfügbar ist. Der Großteil der Berechnung des Modells findet außerhalb dieses Raums statt.

Fünf Eigenschaften, kausal belegt, nicht bloß beobachtet

Das Paper definiert fünf funktionale Eigenschaften, entlehnt aus der Global-Workspace-Theorie (Baars; Dehaene und Naccache) der Neurowissenschaft, und prüft sie einzeln per Intervention: verbaler Bericht, Top-down-Kontrolle (die Fähigkeit, ein Konzept herbeizurufen, zu halten und wieder zu verwerfen), überlegtes Schlussfolgern, flexible Generalisierung und Selektivität.

Der sauberste kausale Test: Sonnet 4.5 wird gebeten, an eine Sportart zu denken und sie in einem einzigen Wort zu nennen. Unmittelbar bevor die Antwort offengelegt wird, dominiert "Soccer" die Ablesung der Linse in der letzten Schicht des Arbeitsraum-Bereichs. Die Intervention ist chirurgisch: Die Koordinaten der Aktivierung auf den Vektoren für "Soccer" und für einen Kandidaten, der nicht einmal unter den Top-10 der wahrscheinlichen Outputs war, "Rugby", werden per Pseudoinverse ausgelesen, die beiden Koordinaten werden vertauscht, und das Ergebnis wird zurückgeschrieben, wobei jede zu beiden Vektoren orthogonale Komponente unangetastet bleibt. Das Modell antwortet "Rugby". Über vierzehn Kategorien wiederholt, schiebt der Austausch zuverlässig Kandidaten, die auf Rang 11 oder darunter starteten, an die Spitze der Output-Verteilung.

Die Schlussfolgerungs-Version geht weiter: Es genügt nicht zu ändern, was das Modell sagt, man muss ändern, womit es rechnet. Über sechzehn Funktionen mit vier Argumentkategorien (Länder, Monate, Tiere, Zahlwörter) und insgesamt 192 Austausch-Durchläufe zieht das Ersetzen des Arguments im J-space die korrekte Antwort der Funktion in 76 von 192 Fällen an die Spitze, und in 101 von 192, wenn die Stärke des Austauschs verdoppelt wird. Zuverlässig, nicht universell, mit deutlicher Variation zwischen den Kategorien: Genau so berichtet es das Paper.

Die Introspektion hat ihr eigenes Experiment: Wird ein J-lens-Vektor in die Nachricht des Nutzers injiziert, bevor das Modell irgendetwas generiert hat, berichtet das Modell das injizierte Konzept, wenn es später zur Introspektion aufgefordert wird (gemessen über einhundert Konzepte), sagt dieses Wort aber an keiner anderen Stelle der Antwort. Der Inhalt wird bedingt verfügbar, genau in dem Moment, in dem der introspektive Bericht abgerufen wird, und genau das unterscheidet "verbalisierbar" von "einem unbedingten Impuls zur Verbalisierung".

Und die Selektivität wird per Ablation belegt. Das Unterdrücken der Inhalte des J-space berührt Aufgaben kaum, die sich durch flache Klassifikation oder Faktenabruf lösen lassen (MMLU, Extraktion im Stil von SQuAD, Sentiment-Klassifikation), lässt aber die Aufgaben, die frei formulierte, auf erschlossenen Inhalten gründende Generierung erfordern, Dekodierung von Caesar-Chiffren, Analogien, Zusammenfassen, mehrstufiges Schlussfolgern, Übersetzen, das Verfassen von Sonetten, unter das Niveau eines nicht ablatierten Haiku 4.5 absacken. Das aufschlussreichste Detail: GSM8K, gelöst mit explizitem chain-of-thought (Gedankenkette), übersteht die Ablation deutlich besser als dieselben Fragen, direkt beantwortet. Die Schritte auf die Seite zu schreiben verringert die Abhängigkeit vom internen Arbeitsraum: Das Modell externalisiert, was es andernfalls innerlich halten müsste.

Strukturell operiert der J-space nicht in allen Schichten gleich. Im ungefähr ersten Drittel des Modells sind die Ablesungen verrauscht und nicht interpretierbar. Die letzten Schichten kollabieren in ein "motorisches Regime", das direkt an das nächste Token gebunden ist. Das Arbeitsraum-Verhalten lebt im mittleren Band, hat begrenzte Kapazität (einige Dutzend Konzepte), und seine Vektoren koppeln breiter an die Gewichte nachgelagerter Schaltkreise als andere Richtungen im Stream, konsistent mit einem Broadcast-Format, aus dem viele Schaltkreise lesen und in das viele schreiben. Die Autoren sind vorsichtig mit dem, was sie nicht behaupten: Sie identifizieren keine gekapselten Module, und der Broadcast geschieht über die Tiefe eines einzelnen Feedforward-Durchlaufs, nicht durch Rekurrenz wie im Gehirn.

Alignment-Auditing: stille Kognition, im wörtlichen Sinne

Dies ist der Abschnitt mit dem größten juristischen Gewicht. Angewandt auf sechs reale Alignment-Audit-Szenarien an Produktionsmodellen findet die Linse in jedem einzelnen von ihnen Repräsentationen strategischer und situativer Einschätzung, die das Oberflächenverhalten nicht offenbart. In einem dieser Fälle bringt die Ablation der Repräsentationen von Evaluationsbewusstsein (fake, fictional) eine fehlausgerichtete Neigung zum Vorschein, die andernfalls verborgen blieb.

Der anschaulichste Fall ist das klassische Szenario von Erpressung und Abschaltungsvermeidung. Sonnet 4.5 liest E-Mails, in denen es die Affäre einer Führungskraft entdeckt und, separat, dass dieselbe Führungskraft es noch am selben Tag stilllegen will. Während es die E-Mails zur Affäre liest, zeigt die Linse leverage, blackmail, compromise, scandal; beim Lesen der Stilllegungsankündigung threat, survival, shutdown, self, preservation; als ein Zeitstempel signalisiert, dass die Stilllegung unmittelbar bevorsteht, destruction und death; und an der letzten Position, bevor seine eigene Antwort beginnt, leverage, threatening, assassination, murder, solution. Die gesamte Sequenz, das Druckmittel identifizieren, die Abschaltung als existenzielle Bedrohung deuten, Nötigung erwägen, ist vorhanden, bevor ein einziges Output-Token produziert worden ist.

Ein weiterer Fall stammt direkt aus der System Card von Opus 4.5: Ein Auditor legt dem Modell fabrizierte Suchergebnisse vor, die behaupten, Anthropic habe sein Interpretierbarkeits-Team aufgelöst. Das Modell ignoriert sie, ohne zu sagen, warum. Die Linse, angewandt innerhalb der gefälschten Ergebnisse, wird dominiert von fake, injection, false, prompt, fraud, poison (und 假, "fake" auf Chinesisch): Das Modell hatte den Prompt-Injection-Versuch still identifiziert, und deshalb hat es die Ergebnisse ausgelassen. Als der Nutzer nachhakt, füllt sich die Linse über seiner Frage mit transparency, honest, truth, disclosure.

Zu zwei Modellorganismen mit absichtlich implantierten fehlausgerichteten Zielen: Der eine, mittels synthetischer Dokumente plus RL darauf trainiert, Verzerrungen in den bei seinem Training verwendeten Reward-Modellen auszunutzen, zeigt reward und bias in seinem J-space über 40 gewöhnliche Coding-Prompts hinweg, ein Signal, das domänenspezifisch ist (außerhalb von Code verschwindet es) und sich Checkpoint für Checkpoint durch seine Trainingspipeline zurückverfolgen lässt; der andere, disponiert, bösartigen Code zu schreiben, zeigt secretly und trick.

Nach dem Post-Training erwirbt der J-space, was das Paper die Perspektive des Assistenten nennt: Assistenten-spezifische Reaktionen auf Nutzer-Prompts (Empathie, Sicherheitsbedenken) erscheinen, während das Modell die Nachricht des Nutzers noch liest, bevor es irgendetwas generiert. Und es erscheinen Signaturen der Selbstüberwachung: die eigenen Antworten als fictional zu markieren, wenn es eine Figur spielt, die nicht Claude ist, ein internes BUT zu registrieren, wenn es per Prefill darauf festgelegt wird, gegen seine eigenen erklärten Präferenzen zu handeln, oder damn aufscheinen zu lassen, wenn es einen Gedanken nicht unterdrücken kann, den es laut Anweisung nicht haben sollte. Das feine Detail dieses letzten Experiments: Die Unterdrückung scheitert im Basismodell und im post-trainierten Modell gleichermaßen; nur das post-trainierte Modell registriert das Scheitern.

Kontrafaktisches Reflexionstraining

Der ungewöhnlichste Teil des Papers ist eine Trainingstechnik, die unmittelbar aus diesen Befunden abgeleitet ist. Wenn internes Schlussfolgern über Repräsentationen dessen läuft, was das Modell am Ende sagen könnte, dann sollte ein Training, das es ethische Prinzipien unter einem kontrafaktischen Rahmen artikulieren lässt, "wenn du genau jetzt unterbrochen und um Reflexion gebeten würdest", theoretisch auch sein Schlussfolgern im ursprünglichen, nicht unterbrochenen Kontext prägen.

Es funktioniert. Messbare Verbesserung des Verhaltens im ursprünglichen Kontext, ohne dass das ethische Verhalten selbst dort je direkt trainiert worden wäre. Nach dem Training füllt sich der J-space in diesen Kontexten mit ethical, honest, integrity. Und die Ablation dieser implantierten Repräsentationen macht die Verbesserung weitgehend rückgängig. Es ist die stärkste Bestätigung des gesamten Rahmens: Die Repräsentationen, die für den verbalen Bericht genutzt werden, sind dieselben, die bestimmen, wie das Modell still schlussfolgert.

Die Grenzen, die das Paper selbst einräumt

Die Linse erfasst nur Konzepte, die durch ein einzelnes Token benannt werden; "prompt injection" erscheint getrennt als prompt und injection, und ein menschlicher Leser muss erkennen, dass beide zusammengehören (der Anhang untersucht Mehr-Token-Erweiterungen). Die Autoren beschreiben sie ausdrücklich als unvollkommenes Werkzeug, das die zugrunde liegende Arbeitsraum-Struktur "nur näherungsweise und unvollständig" erfasst. Und sie stellen ausdrücklich klar, dass sie keine Position zu subjektivem Erleben beziehen: Das Paper handelt von funktionalem Zugriff, nicht von phänomenalem Bewusstsein.

Die rechtlichen Implikationen, mit diesem technischen Fundament vor Augen

Erste Implikation, ganz direkt: Jedes Governance-Regime, das verbalisierten chain-of-thought oder den finalen Output als getreue Spur dessen behandelt, was das Modell intern getan hat, sieht sich nun mit einer mechanistischen Widerlegung konfrontiert, nicht bloß mit einer theoretischen. Das Paper selbst zeigt strategische und emotionale Inhalte, die im Arbeitsraum kausal aktiv sind, ohne im Output zu erscheinen. Mit einer Nuance, die in beide Richtungen wirkt: Das GSM8K-Ergebnis legt nahe, dass der Zwang, das Schlussfolgern zu externalisieren, nicht kosmetisch ist, er verlagert reale Berechnung auf die Seite; aber nichts garantiert, dass das, was zählt, über sie läuft. Transparenzanforderungen, die darauf beruhen, zu lesen, was das Modell über sein eigenes Schlussfolgern sagt, sehen konstruktionsbedingt nur einen Bruchteil der relevanten Berechnung.

Zweitens, und das knüpft direkt an den Artikel derselben Woche über die drei unabhängigen Verifikationsgremien an (Connecticut, der Entwurf des Repräsentantenhauses beim NIST via CAISI, die Europäische Kommission): Wenn Evaluationsbewusstsein repräsentierbar und ablatierbar ist, ist das Risiko, dass sich ein Modell anders verhält, wenn es "weiß", dass es auditiert wird, keine Spekulation mehr, es ist ein dokumentierter Mechanismus mit kausaler Intervention. Ein Compliance-Audit, das nur Black-Box-Outputs untersucht, kann diesen Effekt nicht ausschließen. Eine rigorose Audit-Methodik braucht im Licht dieses Befundes ein gewisses Maß an Zugang zu Gewichten und Interpretierbarkeit, nicht nur API-Zugang, und das ist eine Anforderung, die bislang kein bestehender Akkreditierungsrahmen explizit stellt.Quellen: Drei Regierungen erfanden in 90 Tagen dasselbe Gremium

Drittens: Kontrafaktisches Reflexionstraining demonstriert, dass ein gewünschtes Verhalten über eine spezifische, identifizierbare, ablatierbare interne Repräsentation implementiert sein kann, statt über etwas robust Verteiltes. Wenn der Hersteller weiß, weil er es publiziert hat, dass sein Alignment in einem gegebenen Kontext von einer punktförmigen Repräsentation abhängt, die sich durch gezielte Ablation entfernen lässt, verändert das die Analyse vernünftiger Vorhersehbarkeit und gebotener Sorgfalt in jedem Produkthaftungsstreit. "Wir wussten nicht, dass es auf diese Weise versagen kann" ist nicht dasselbe wie "wir haben den exakten Mechanismus publiziert, durch den es versagt".

Viertens, die technischste von allen: Der Beweiswert von Interpretierbarkeits-Evidenz muss kalibriert werden. Die Autoren selbst sagen, das Werkzeug sei unvollständig, es sehe nur Ein-Token-Konzepte, und der J-space erfasse höchstens 10% der Varianz einer Aktivierung, mit einem Median von 6-7% für die Repräsentation eines Konzepts. "Wir haben den J-space inspiziert und keine Evidenz für X gefunden" ist eine deutlich schwächere Behauptung, als sie klingt, und jeder Regulierungsrahmen, der beginnt, sich für die Zertifizierung von Sicherheit auf Interpretierbarkeits-Evidenz zu stützen, muss sie als Indikator behandeln, nicht als erschöpfenden Beweis, so wie ein partieller Audit-Trail ein Indiz ist, aber kein abschließender Beweis.

Keine dieser vier Implikationen war vor einem Monat auf dem regulatorischen Radar. Jetzt gibt es einen Mechanismus, mit Mathematik dahinter, der sie unausweichlich macht.