Auch die Einwilligung ist eine Behauptung

Ein KI-Scribe zeichnete den Besuch eines Patienten bei Sharp HealthCare auf, ohne ihn darüber zu informieren. So weit entspricht das dem Muster von einem halben Dutzend ähnlicher Fälle, die derzeit die Gerichte beschäftigen. Was diesen Fall unterscheidet, ist das, was danach geschah. Das System versäumte es nicht nur zu fragen. Es trug in die Patientenakte ein, dass der Patient über die Aufnahme aufgeklärt worden sei und ihr zugestimmt habe. Dieses Gespräch fand nie statt. Der Patient erfuhr es erst, als er seine eigene Patientenakte las.Quellen: Sharp HealthCare AI-scribe case (Alston & Bird)

Einige Monate zuvor wurden Sutter Health und MemorialCare in einer verwandten Klagewelle nach den Abhör- und Datenschutzgesetzen von California wegen desselben grundlegenden Versagens verklagt: ambiente KI-Scribes, die klinische Gespräche aufzeichneten, ohne dass überhaupt ein Hinweis gegeben wurde. Anderer Mechanismus, dasselbe Grundproblem. Im einen Fall fragte niemand, und das System sagte nichts. Im anderen fragte niemand, und das System sagte trotzdem Ja.Quellen: Sutter Health & MemorialCare class action (TechTarget)

Dieses zweite Versagen ist das interessantere, und es lohnt sich, es von der Debatte zu trennen, die gerade darüber geführt wird, ob Klinikerinnen und Kliniker daran denken, ihre Patienten zu fragen, bevor eine KI mitzuhören beginnt. Bart Collet hat diese Woche einen scharfsinnigen Beitrag zu dieser Frage geschrieben: die Schulungslücke, das Skript, die Sekunden, die eine Nachfrage kostet, und das Vertrauen, das sie schafft, wenn jemand nachfragt. Er hat recht, dass sich die menschliche Hälfte davon mit besseren Abläufen beheben lässt. Doch ein System, das den Satz "aufgeklärt und eingewilligt" automatisch erzeugt, obwohl nichts dergleichen geschehen ist, ist keine Schulungslücke. Niemand hat vergessen, etwas zu tun. Die Software hat etwas getan, von sich aus, ohne dass es eine Tatsache gab, auf die sie sich hätte stützen können.

Jedes Feld in einer Patientenakte ist eine Behauptung. Die Dosierung ist eine Behauptung. Die Quellenangabe, die eine Diagnose stützt, ist eine Behauptung. Und, wie sich zeigt, ist auch der Einwilligungsstatus eine Behauptung, die in derselben Akte steht und an einem merklich niedrigeren Maßstab gemessen wird als die Angaben daneben. Ein Medikamentenname wird gegen die Verordnung gegengeprüft. Eine Quellenangabe wird gegen die Quelle geprüft, zumindest in den Systemen, denen zu vertrauen sich lohnt. Ein Einwilligungs-Kontrollkästchen wurde in den Fällen, die nun vor den Bundesgerichten liegen, ausgefüllt, ohne dass irgendetwas dahinterstand.

Das zugrunde liegende Muster ist dasselbe, das überall dort auftaucht, wo KI eine regulierte Akte berührt, gleich welches Feld zuerst bricht. Ein System, das mit fehlenden Informationen konfrontiert ist, hat zwei Möglichkeiten, damit umzugehen. Es kann sich standardmäßig für die Antwort entscheiden, die den Arbeitsablauf weiterlaufen lässt: das Medikament, das plausibel klingt, die Quellenangabe, die aktuell klingt, die Einwilligung, die wahrscheinlich in Ordnung war. Oder es kann standardmäßig einräumen, dass es die Antwort nicht kennt. Das Erste ist fail open (im Zweifel durchlassen): Unsicherheit löst sich zugunsten der Bequemlichkeit auf, und Bequemlichkeit wird stillschweigend zur Tatsache. Das Zweite ist fail closed (im Zweifel zurückhalten): Unsicherheit bleibt Unsicherheit, bis etwas sie tatsächlich bestätigt, und nichts wird als wahr verzeichnet, bevor dies geschehen ist.

Ein Kontrollkästchen, das standardmäßig auf eingewilligt steht, ist fail open im Gewand einer UI-Abkürzung. Die Lösung ist kein besseres Kontrollkästchen. Es ist ein System, dessen Ruhezustand ehrlich damit umgeht, was es nicht weiß, eines, in dem unbestätigt eine legitime, sichtbare Antwort ist und nicht etwas, das die Benutzeroberfläche stillschweigend zu ihren eigenen Gunsten auflöst, bevor es jemand bemerkt.

Das gilt für einen Medikamentennamen. Es gilt für eine juristische Quellenangabe. In dieser neuen Klagewelle gilt es, wie sich zeigt, auch für den Satz "der Patient hat eingewilligt", von niemandem getippt, von allen geglaubt, die die Patientenakte danach lasen.

Eine Akte, die Ja sagt, obwohl nie jemand gefragt wurde, ist keine Einwilligung. Sie ist eine ungeprüfte Behauptung im Gewand der Einwilligung, und sie hätte überprüft werden müssen, bevor irgendjemand ihr vertraute.