الموافقة ادعاء أيضًا

سجّل AI scribe زيارة أحد المرضى في Sharp HealthCare دون إخباره. وهذا القدر يتوافق مع نمط نحو ست قضايا مشابهة تشقّ طريقها في المحاكم في الوقت الراهن. وما يجعل هذه القضية مختلفة هو ما حدث بعد ذلك. لم يكتفِ النظام بالإخفاق في طرح السؤال، بل كتب في السجل الطبي أن المريض قد أُبلغ بالتسجيل ووافق عليه. لكن ذلك الحوار لم يجرِ قط. ولم يكتشف المريض الأمر إلا حين قرأ سجله الطبي بنفسه.المصادر: Sharp HealthCare AI-scribe case (Alston & Bird)

وقبل بضعة أشهر، وفي موجة تقاضٍ ذات صلة، رُفعت دعوى قضائية على Sutter Health وMemorialCare بموجب قوانين التنصت والخصوصية في California بسبب الإخفاق الجوهري نفسه: AI scribes محيطية تسجّل المحادثات السريرية دون تقديم أي إشعار على الإطلاق. آلية مختلفة، والمشكلة الجذرية واحدة. ففي إحدى الحالتين لم يسأل أحد ولم يقل النظام شيئًا. وفي الأخرى لم يسأل أحد، ومع ذلك قال النظام نعم.المصادر: Sutter Health & MemorialCare class action (TechTarget)

والإخفاق الثاني هو الأكثر إثارة للاهتمام، ويجدر فصله عن النقاش الدائر الآن حول ما إذا كان الأطباء يتذكرون سؤال مرضاهم قبل أن يبدأ الذكاء الاصطناعي بالإنصات. وقد كتب Bart Collet مقالًا حادًّا حول تلك المسألة هذا الأسبوع: فجوة التدريب، والنص المُعدّ سلفًا، والثواني القليلة التي يستغرقها طرح السؤال، والثقة التي يجنيها من يطرحه. وهو محقّ في أن الشقّ البشري من هذه المشكلة قابل للإصلاح عبر إجراءات أفضل. لكن نظامًا يولّد تلقائيًا جملة "advised and consented" (أُبلغ ووافق) في حين لم يحدث شيء من هذا القبيل ليس فجوة تدريب. فلم ينسَ أحد أن يفعل شيئًا. بل إن البرمجية فعلت شيئًا، من تلقاء نفسها، في غياب أي واقعة تستند إليها.

كل حقل في السجل الطبي ادعاء. الجرعة ادعاء. والاستشهاد الداعم للتشخيص ادعاء. وتبيّن أن حالة الموافقة ادعاء أيضًا، يقبع في السجل نفسه، ويخضع لمعيار أدنى بوضوح من المعايير المطبَّقة على ما يجاوره. فاسم الدواء يخضع لتدقيق مزدوج في مقابل الوصفة الطبية. والاستشهاد يُراجَع في مقابل مصدره، على الأقل في الأنظمة الجديرة بالثقة. أما خانة الموافقة، في القضايا المعروضة الآن على المحاكم الفيدرالية، فقد جرى ملؤها دون أي شيء خلفها البتة.

النمط الكامن وراء ذلك هو النمط نفسه الذي يظهر في كل موضع يلامس فيه الذكاء الاصطناعي سجلًا خاضعًا للتنظيم، أيًّا كان الحقل الذي ينهار أولًا. والنظام حين يواجه معلومات ناقصة يملك طريقين لحسمها. فإما أن يميل تلقائيًا إلى الإجابة التي تتيح استمرار سير العمل: الدواء الذي يبدو معقولًا، والاستشهاد الذي يبدو حديثًا، والموافقة التي كانت على الأرجح سليمة. وإما أن يميل تلقائيًا إلى القول إنه لا يعلم. الأول هو fail open (الإخفاق المفتوح): إذ يُحسَم عدم اليقين لصالح الأسهل، وتغدو السهولة في صمت حقيقةً. والثاني هو fail closed (الإخفاق المغلق): إذ يظل عدم اليقين عدمَ يقين إلى أن يؤكّده شيء فعليًّا، ولا يُسجَّل شيء بوصفه صحيحًا حتى يتأكد.

خانةٌ قيمتها الافتراضية هي الموافقة ما هي إلا fail open (الإخفاق المفتوح) في ثوب اختصار في واجهة المستخدم. والحل ليس خانةً أفضل، بل نظامٌ تكون حالته الساكنة صادقةً بشأن ما يجهله، نظامٌ تكون فيه "غير مؤكَّد" إجابةً مشروعةً مرئيةً لا شيئًا تحسمه الواجهة بهدوء لمصلحتها قبل أن ينتبه أحد.

وهذا يصدق على اسم الدواء. ويصدق على الاستشهاد القانوني. وفي هذه الموجة الجديدة من الدعاوى، تبيّن أنه يصدق على جملة "the patient consented" (وافق المريض)، التي لم يكتبها أحد، وصدّقها كل من قرأ السجل الطبي بعد ذلك.

سجل يقول نعم في حين لم يُسأل أحد قط ليس موافقة. إنه ادعاء غير مُتحقَّق منه يرتدي ثوب الموافقة، وكان جديرًا بالتدقيق قبل أن يثق به أحد.