Die Asymmetrie des Vertrauens: Warum wir menschliches Versagen verzeihen und das der Maschine fürchten

Ein Richter hat einen schlechten Nachmittag. Müde, abgelenkt, belastet von einer unbewussten Voreingenommenheit, die er auf Nachfrage bestreiten würde, liest er eine Akte etwas weniger sorgfältig als die vorherige. Die Entscheidung ist falsch, oder zumindest schlechter, als sie hätte sein müssen. Niemand schreibt darüber. Es gibt keine Schlagzeile, keine aufsichtsrechtliche Anfrage, keine öffentliche Abrechnung darüber, ob man Richtern als Berufsgruppe diese Aufgabe anvertrauen kann.

Ein KI-System, das demselben Gericht zuarbeitet, halluziniert eine einzige Fundstelle. Daraus wird eine Nachricht. Manchmal wird daraus ein Aufsatz in einer juristischen Fachzeitschrift. Manchmal wird daraus der Grund, ein ganzes Pilotprogramm auszusetzen.

Der erste Impuls ist, das unfair zu nennen, und dieser Impuls verdient es, ernst genommen statt abgetan zu werden. Doch die ehrliche Antwort lautet nicht, dass wir uns gegenüber KI irrational verhalten. Sie lautet, dass zwei Fehlermodi, die aus der Ferne ähnlich aussehen, überhaupt nicht dieselbe Form haben.

Der Teil, der Verzerrung ist

Ein Teil der Asymmetrie ist tatsächlich nur die Art, wie Menschen Risiko verarbeiten, und sie wird seit den späten 1970er Jahren untersucht. Das psychometrische Paradigma, das Fischhoff, Slovic, Lichtenstein und Kollegen 1978 entwickelt und Slovic 1987 in seinem Überblick in Science zusammengefasst haben, zeigte, dass Laienurteile über Risiko zwei Dimensionen folgen und nicht der erwarteten Zahl der Todesfälle. Slovic nannte sie "dread risk" (gefürchtetes Risiko), bestimmt durch empfundenen Kontrollverlust, Furcht, katastrophales Potenzial, tödliche Folgen und eine ungleiche Verteilung von Risiken und Nutzen, sowie "unknown risk" (unbekanntes Risiko), bestimmt durch Gefahren, die als unbeobachtbar, unbekannt, neu und in ihrer Schadenswirkung verzögert gelten. "dread" ist die dominierende der beiden Dimensionen. Der Befund lautet nicht, dass Menschen nicht rechnen können: direkt gefragt, schätzen Laien die jährlichen Todeszahlen ungefähr so ein wie Fachleute. Diese Schätzungen sind nur nicht das, woraus ihr Risikoempfinden besteht.Quellen: Slovic, Perception of Risk, Science 1987 · Fischhoff et al., 1978

Pro Personenmeile ist Autofahren rund hundertmal tödlicher als der planmäßige kommerzielle Luftverkehr: 7,28 gegenüber 0,07 Todesfällen je Milliarde Personenmeilen in den US-Zahlen von Ian Savage. Etwa 39.000 Amerikaner sterben jedes Jahr auf den Straßen. Bei anderen Bezugsgrößen verengt sich der Abstand deutlich, und gemessen pro Reise statt pro Meile liegen beide Verkehrsträger viel näher beieinander, was erwähnt werden muss, weil die Wahl der Bezugsgröße einen großen Teil der Arbeit leistet. Dennoch löst ein einziger Flugzeugabsturz eine Untersuchungs- und Aufsichtsaufmerksamkeit aus, die keine noch so hohe Zahl von Verkehrstoten erreicht.Quellen: Savage, fatality risks across United States transportation modes

Eine halluzinierte Fundstelle trifft beide Dimensionen zugleich. Sie ist neu und wenig verstanden, das ist "unknown risk". Sie kommt über ein System, das jemand anderes ausgewählt hat, und sie verdichtet sich zu einem einzelnen benennbaren Ereignis statt zu einem diffusen Muster über eine ganze Laufbahn hinweg, das ist "dread". Allein nach dieser Psychologie beurteilt, ist die Reaktion vorhersehbar und hat mit KI wenig zu tun. Sie träfe jedes neue, undurchsichtige, unfreiwillig eingegangene Risiko.

Das ist real, und es erklärt einen Teil dessen, was wie ein doppelter Maßstab aussieht. Es erklärt nicht alles.

Der Teil, der keine Verzerrung ist

Ein voreingenommener oder erschöpfter Richter produziert einen idiosynkratischen Fehler. Er geschieht in diesem Fall, an diesem Nachmittag, geformt vom konkreten schlechten Tag dieser konkreten Person. Er ist begrenzt. Er wiederholt sich nicht automatisch im nächsten Verfahren. Über eine Laufbahn hinweg streuen diese Fehler, einige in die eine und einige in die andere Richtung, und das System absorbiert das Rauschen unvollkommen über die Rechtsmittelkontrolle, über Präjudizien, über den langsamen Verschleiß beruflicher Reputation.

Ein Modell mit demselben zugrunde liegenden Mangel streut nicht. Es wiederholt sich. Dieselbe Fehldeutung derselben Klauselart, derselbe blinde Fleck in derselben Kategorie von Fragen, feuert identisch jedes Mal, wenn das Muster wiederkehrt, über jede Sache hinweg, die das System berührt, gleichzeitig, bis es jemandem auffällt. Das Versagen ist nicht ein schlechter Nachmittag. Es ist jeder Nachmittag zugleich, lautlos, so lange, bis es entdeckt wird.

Das ist keine Aussage darüber, was genauer ist. Nach vielen Maßstäben ist die Maschine im Durchschnitt besser als der müde Richter. Es ist ein Unterschied in der Form, die der Fehler annimmt, wenn er denn auftritt, und diese Form lässt sich an keinem einzelnen isolierten Vorfall erkennen.

Nichts davon ist unsere Beobachtung. Die Zuverlässigkeitstechnik nennt es seit Jahrzehnten "common-cause failure" (Ausfall gemeinsamer Ursache): abhängige Ausfälle, die genau jene Redundanz aushebeln, die zur Verbesserung der Zuverlässigkeit eingeführt wurde, und denen ein großer Anteil der Nichtverfügbarkeit von Sicherheitssystemen in Kernkraftwerken zugerechnet wird. Kleinberg und Raghavan haben die algorithmische Variante 2021 formalisiert und gezeigt, dass Entscheidungsträger, die auf einen gemeinsamen Algorithmus konvergieren, kollektiv schlechter abschneiden können als Entscheidungsträger mit idiosynkratischen, je für sich weniger genauen Verfahren, ohne dass es dafür eines äußeren Schocks bedarf. Bommasani und Kollegen zeigten ein Jahr später die Kehrseite: wenn Systeme Komponenten teilen, werden dieselben Menschen überall abgelehnt.Quellen: Kleinberg & Raghavan, Algorithmic monoculture and social welfare, PNAS 2021 · Bommasani et al., outcome homogenization, 2022

Eine Grenze dieses Arguments, weil sie für jeden zählt, der eine einzelne Akte in Händen hält. Unkorrelierte Fehler mitteln sich über viele unabhängige Entscheidungen hinweg heraus. Für denjenigen, den sie treffen, mitteln sie sich nicht heraus, und keine noch so breite Streuung im Aggregat hilft dem Mandanten, dessen Sache der schlechte Nachmittag war. Die Unterscheidung betrifft das, was das System als Ganzes absorbieren kann, nicht das, was eine einzelne Sache tragen kann.

Die Sorge ist nicht hypothetisch, auch wenn sie sich leichter beschreiben als zählen lässt. Erfundene Fundstellen in Gerichtsverfahren sind inzwischen offen dokumentiert: eine öffentliche Datenbank gerichtlicher Entscheidungen, die solche Fälle erfasst, verzeichnete bis Mitte 2026 über 1.600 Fälle, davon rund 650 mit Anwälten statt mit Parteien ohne anwaltliche Vertretung, und ihr Betreiber sagt ausdrücklich, dass die Zahl eine Untergrenze ist und zu Jurisdiktionen tendiert, deren Schriftsätze leicht durchsuchbar sind. Für das Gegenstück auf Portfolioebene, ein Compliance-System, das dieselbe Kategorie von Verstößen über einen ganzen Mandantenbestand hinweg übersieht, weil der Defekt vorgelagert in einem Retrieval- oder Klassifikationsschritt ohne benannten Verantwortlichen sitzt, ist uns keine veröffentlichte Fallstudie bekannt. Genau dieses Fehlen ist der Punkt. Ein Fehlermodus ohne Verantwortlichen ist auch ein Fehlermodus, für dessen Meldung niemand zuständig ist.Quellen: AI Hallucination Cases database

Der Apparat, den wir nicht mehr wahrnehmen

Es gibt einen zweiten Grund, warum der Vergleich unfair wirkt, und er hat nichts mit Psychologie zu tun. Wir sind zu unserer Toleranz gegenüber menschlichem Versagen nicht gelangt, indem wir uns für Nachsicht entschieden hätten. Über Jahrhunderte wurde eine gewaltige Infrastruktur gebaut, um es aufzufangen, zu korrigieren und zu bepreisen, bis diese Infrastruktur vor lauter Vertrautheit unsichtbar wurde.

Die Berufungsinstanz existiert, weil Instanzrichter Dinge falsch entscheiden. Die Berufshaftpflichtversicherung existiert, weil Berufsträger Fehler machen, die realen Schaden anrichten. Zulassungskammern, Peer Review, öffentlich zugängliche Disziplinarregister, der gesamte Apparat beruflicher Rechenschaft, all das wurde eigens gebaut, weil menschliches Urteilen fehlbar ist und weil jemand entschieden hat, dass diese Fehlbarkeit ein System braucht und keine Entschuldigung.

Nichts davon liest sich heute noch als Kontrolle. Es liest sich als Hintergrund. Es ist alt genug und breit genug über bereits vertraute Institutionen verteilt, dass niemand es als Überwachung erlebt. Es ist trotzdem da und leistet weiterhin seine Arbeit, jedes Mal, wenn ein Verfahren in die nächste Instanz geht oder eine Zulassung überprüft wird.

KI-Systeme haben diesen Apparat noch nicht. Was wie eine unvernünftige Forderung nach Perfektion aussieht, ist im Kern eine Forderung nach derselben Art von Infrastruktur, über die menschliche Institutionen längst verfügen: eine Aufzeichnung dessen, was geschehen ist und warum, ein Weg, ein schlechtes Ergebnis auf seine Ursache zurückzuverfolgen, eine benannte Stelle, die dafür einsteht, und ein Korrekturmechanismus, der nicht davon abhängt, dass es zufällig jemandem auffällt. Die Forderung lautet nicht, dass KI nie falsch liegen darf. Sie lautet, dass sie innerhalb eines Systems falsch liegt, das darauf ausgelegt ist, den Fehler aufzufangen, und genau das wird stillschweigend von jedem menschlichen Berufsträger verlangt, dessen Arbeit Folgen hat.

Wohin das tatsächlich führt

Der Maßstab verschwindet nicht, sobald diese Infrastruktur existiert. Er wird sich nur nicht mehr wie ein Maßstab anfühlen, so wie die Berufungsinstanz aufgehört hat, sich wie ein Vorwurf gegen Richter anzufühlen. Die Prüfung, der KI-Systeme heute unterliegen, ist kein Beleg dafür, dass die Latte unfair hoch liegt. Sie ist ein Beleg dafür, dass die Rechenschaft noch in aller Öffentlichkeit aufgebaut wird, Lücke für Lücke, und zwar genau dort, wo die entsprechende menschliche Infrastruktur ein paar hundert Jahre Zeit hatte, mit dem Mobiliar zu verschmelzen.

Die Frage, die sich zu stellen lohnt, ist nicht, ob KI je so verziehen wird wie einem müden Richter. Sie lautet, ob die Spur, die sie hinterlässt, vom ersten Tag an leisten kann, was Jahrhunderte von Rechtsmitteln und Zulassungskammern für das menschliche Urteilen erst lernen mussten: aus einem einzelnen Versagen ein nachvollziehbares zu machen und aus einem nachvollziehbaren ein korrigierbares, bevor es sich lautlos über alles wiederholt, was das System als Nächstes berührt.