الجميع يتحقّقون من الذكاء الاصطناعي القانوني. ولا أحد تقريباً يتحقّق منه في مقابل أي شيء حقيقي.

وجدنا أنفسنا هذا الأسبوع في ثلاث محادثات غير مترابطة استخدمت جميعها الكلمة نفسها، التحقق، للدلالة على ثلاثة أشياء مختلفة. كانت إحداها مع منصة تُقيّم مخرجات الذكاء الاصطناعي في مقابل rubric. وانطلقت أخرى من ورقة بحثية صادرة عن Stanford وBerkeley وNVIDIA، فكّكتها بحدّة نشرة إخبارية متخصّصة في التقنية القانونية نتابعها. وكانت الثالثة عن الموعد النهائي التالي للامتثال في AI Act الأوروبي، الذي كان يبعد أحد عشر يوماً وقت كتابة هذه السطور. وعند وضعها جنباً إلى جنب، تتطابق تطابقاً شبه تام مع ثلاث طبقات منفصلة يواصل القطاع دمجها في كلمة واحدة، والمجال القانوني هو الميدان الذي يكون فيه دمجها الأعلى كلفةً، لأن ثمن أن تكون مخطئاً بثقة هو استشهاد لا وجود له، أو holding ليس كما تقول عنه مذكّرة.

في ما يلي التصنيف، ثم الجزء التقني: ما يتطلّبه فعلاً بناء الطبقة الثالثة، تلك التي لا يبنيها أحد تقريباً، لأنها الأقل قابلية للتعميم والأعلى كلفةً بين الثلاث.

ثلاثة أشياء يسمّيها الناس "التحقق"

التحقق من الإفصاح. هل أخبرتَ المستخدم بأنه يتحدّث إلى نظام لا إلى شخص؟ هل وسمتَ المحتوى الاصطناعي؟ هل درّبتَ موظفيك على مخاطر الأدوات التي يستخدمونها؟ يتطابق هذا مع Article 4 (الثقافة في مجال الذكاء الاصطناعي، السارية منذ 2 فبراير 2025) وArticle 50 (الشفافية، الواجبة النفاذ اعتباراً من 2 أغسطس 2026) من AI Act. إنه حقيقي وليس اختيارياً، وقابل للتدقيق على نطاق السوق تحديداً لأنه لا يتطلّب من أحد أن يفحص ما إذا كان المخرج الأساسي صحيحاً. يستطيع المنظِّم أن يؤكّد أن برنامج تدريب قد جرى. ولا يستطيع المنظِّم، على امتداد سوق بأكمله، أن يؤكّد أن تحليلاً قانونياً محدّداً كان صحيحاً.المصادر: EU AI Act (Reg. (EU) 2024/1689)

التحقق من الثقة. يُصحّح LLM مخرج LLM آخر في مقابل rubric ويُعيد درجة. هذه هي الطبقة الأسرع تحرّكاً في الوقت الراهن، وهي تتحسّن فعلاً. التطوّر الحديث المثير للاهتمام هو ورقة بحثية بعنوان LLM-as-a-Verifier (Kwok et al.، Stanford وBerkeley وNVIDIA، arxiv.org/abs/2607.05391)، وجدت أن نموذج الحَكَم القياسي، حين يُطلب منه تقييم مرشّح على مقياس من خمس نقاط، يتخلّى عن كل إشاراته تقريباً في اللحظة التي يُصدر فيها عدداً صحيحاً واحداً. تحت هذا العدد الصحيح يقبع توزيع احتمالي كامل عبر كل درجة ممكنة، وقراءة هذا التوزيع بدلاً من المخرج المُقرَّب تُحوّل حَكَماً خشناً كثير التعادل إلى حَكَم أحدّ بكثير. على اختبار مرجعي صعب في البرمجة، يُنتج الحَكَم المنفصل تعادلاً بين مرشّحَين في 26.7 بالمئة من الحالات. أما قراءة القيمة المتوقّعة المتّصلة فتُنتج صفر حالات تعادل على الاختبار المرجعي نفسه، وفي مثال عدائي واحد يُشرّحه المؤلفون، وهو خدعة تحقّق خفية أخطأها الحَكَم المنفصل 88 مرة من أصل 100، تمسك بها النسخة المتّصلة بشكل صحيح في غالبية الأحيان، وأكثر من ذلك كلما ازداد مقياس التقييم دقّةً.المصادر: LLM-as-a-Verifier (Kwok et al., arXiv:2607.05391)

هذا تقدّم حقيقي ومفيد، ولا يكلّف شيئاً لإضافته: لا تدريب، مجرّد قراءة مختلفة لـ logits يحسبها نموذج يعمل بالفعل. لكن المعايير المرجعية الخاصة بالورقة تشترك في خاصية واحدة يكون مؤلفوها صريحين بشأنها: كل منها يأتي بمفتاح إجابة قاطع، اختبار خفي يُحسم بوضوح، روبوت إما أن يُمسك بالجسم أو لا يُمسك به. أخذ Marco Rossi، الذي يكتب نشرة The LegalTech Overlap، ذلك الحدّ وبنى اختباره الخاص المؤلَّف من أربعة أسئلة لتحديد أين تستحقّ التقنية مكاناً على مكتب المحامي، بدءاً بما إذا كانت المهمة تملك أصلاً مفهوماً قابلاً للفحص عن الصواب. وحيث لا تملكه، لا تكون الدرجة السلسة الواثقة تحسيناً على تعادل صادق. وفي تأطير Rossi، رقم كهذا يُلبِس الحكم المتنازَع عليه "the costume of a measurement" ويدعو القارئ إلى الوثوق بشيء لم يُقَس قط في الحقيقة. والحالة الوحيدة التي يذكرها بوصفها تجتاز كل بوابة من بواباته الأربع دون تردّد هي التأكّد من أن استشهاداً في مذكّرة قانونية موجود فعلاً ويدعم فعلاً ما استُشهد به من أجله.

التحقق من المصدر. هل يطابق الادعاء الوقائعي أو القانوني المحدّد الماثل أمامك مصدراً محدّداً حقيقياً قابلاً للفحص حديثاً وصحيحاً من حيث الولاية القضائية؟ هذه أضيق الطبقات الثلاث، والأصعب بناءً، والأقل قابلية للتعميم، لأنها تحتاج إلى corpus فعلي خاص بالمجال، لا إلى حَكَم عام الغرض. وهي أيضاً الطبقة التي لا يمسّها لا التحقق من الإفصاح ولا تقييم الثقة على الإطلاق.

ما الذي يتطلّبه التحقق من المصدر فعلاً

هذا هو الجزء الذي يسهل الإشارة إليه ويصعب بناؤه، لذا إليك ما يتطلّبه فعلاً، من الناحية الآلية.

corpus حقيقي وحديث وصحيح من حيث الولاية القضائية. لا يمكنك التحقق من استشهاد في مقابل ما يتذكّره النموذج، لأن ما يتذكّره النموذج هو بالضبط الشيء الذي أنتج الهلوسة في المقام الأول. أنت بحاجة إلى متن قابل للاسترجاع من نصوص مصادر أولية فعلية، تشريعات وسوابق قضائية، يكون حديثاً (مادة أُلغيت العام الماضي لا يمكن أن تُؤسِّس ادعاءً عن القانون اليوم، لذا يحتاج corpus إلى بُعد زمني، لا مجرّد لقطة ساكنة) وصحيحاً من حيث الولاية القضائية (المبدأ القانوني نفسه يعني شيئاً مختلفاً عبر الولايات القضائية، والرجوع الصامت إلى قاعدة ولاية قضائية واحدة كأنها عالمية هو نمط فشل صامت خاص به، يسهل إغفاله حين تميل بيانات الاختبار مصادفةً نحو حيثما بُني النظام أولاً).

مطابقة holding، لا القرب المتّجهي. يوصلك الاسترجاع إلى الجوار الصحيح. وسيناولك تشابه embedding عن طيب خاطر قضية حقيقية موجودة مجاورة موضوعياً للادعاء الماثل أمامك، والمجاورة الموضوعية ليست الشيء نفسه كأن تقول القضية فعلاً ما استُشهد بها من أجله. قد يشير استشهاد إلى حكم حقيقي ومع ذلك يُحرّف holding الخاص به، وهذا النمط من الفشل يجتاز فحص الوجود بسلاسة، ما يجعله أخطر من قضية مُلفّقة، لأن القضية المُلفّقة يمكن على الأقل أحياناً الإمساك بها ببحث وجود ساذج. على فحص ثانٍ مستقلّ أن يربط الادعاء المحدّد بنصّ المصدر المحدّد، لا أن يكتفي بتأكيد أن شيئاً معقولاً قد ظهر في الجوار.

تدقيق مستقلّ، لا تصحيح ذاتي. العملية التي تولّد إجابة هي بنيوياً العملية الخطأ لتُسأل عمّا إذا كانت تلك الإجابة صحيحة. والنموذج الواثق بما يكفي لاختلاق استشهاد لا يصبح، لمجرّد أن يُطرح عليه سؤال متابعة، أكثر تشكّكاً فجأةً في مخرجه هو. هذه هي الحجّة الفعلية لفصل التوليد والتحقق إلى مسارين مستقلّين، لا نموذج واحد يُصحّح واجبه بنفسه، بل عمليتان مبنيّتان لتختلفا فعلاً إحداهما مع الأخرى، حيث تكون مهمة الثانية بأكملها محاولة كسر ادعاء الأولى لا تأكيده.

تفكيك، مُختبَر بشكل عدائي، لا مُصمَّم مرة واحدة فحسب. سؤال واحد غامض، هل هذا الاستشهاد صحيح، يُخفي حفنة من أسئلة أضيق قابلة للفحص فعلاً: هل السند المُستشهَد به موجود، هل يتطابق التاريخ، هل يتطابق المبلغ، هل يقول holding فعلاً ما يُدَّعى. تفكيك السؤال هو موضع معظم الدقة، وهو أيضاً موضع اختباء الخطر، لأن أي rubric يُبنى يدوياً لا يحمي إلا من أنماط الفشل التي فكّر فيها مؤلفه. والثغرة الخطيرة في أي تفكيك ليست أبداً الفحص الفرعي الغائب بوضوح، بل هي ذاك الذي لم يكتبه أحد لأن لا أحد فكّر في تلك الطريقة المعيّنة للخطأ الخفي. عملياً يعني ذلك اختباراً عدائياً في مقابل فئات محدّدة من الطفرات التي تحافظ على المعقولية السطحية بينما تقلب المعنى الفعلي: نفي مقلوب، can إلى cannot، مُكمِّم مُضعَّف بهدوء، all إلى some، مقدار مُغيَّر بمقدار عشرة أضعاف، خمسمئة ملليغرام إلى خمسة آلاف، مبلغ مكتوب بالحروف لم يعد يطابق الأرقام بعد جملتين، تاريخ مُزاح بالضبط بنوع التعديل الصغير الذي تُدخله إعادة صياغة متهاونة. كل واحدة من هذه تحتاج إلى اختبارها الصريح القابل للتنفيذ الخاص بها، بكل لغة يعمل بها النظام، لأن طفرة يمسك بها مُتحقِّق في لغة واحدة قد تمرّ بصمت في لغة لم يبنِ أحد اختباراً لها، وضمانٌ يصمد في لغة بينما يفشل بهدوء في أخرى أسوأ من لا ضمان على الإطلاق، لأنه يبدو من الخارج كأنه تغطية.

الامتناع بوصفه مخرجاً من الدرجة الأولى، لا حلاً احتياطياً. يحتاج نظام التحقق إلى إجابة ثالثة حقيقية، لا مجرّد مُتحقَّق منه أو غير مُتحقَّق منه، بل تصريح واضح بأن ادعاءً بعينه ليس ببساطة من النوع الذي يمكن فحصه، مع بيان السبب. مُعظم منتجات الذكاء الاصطناعي القانوني مبنية على ألا تعود أبداً خالية الوفاض، فالسؤال الذي لا إجابة حقيقية له يُدفَع دفعاً إلى إجابة على أي حال، وحالما يُعبَّر عنه بدرجة، لا يستطيع أي شيء في المراحل اللاحقة أن يُدرك أنه كان أصلاً غير قابل للإجابة. وبناء نظام قادر على أن يقول بوضوح، هذا خارج نطاق ما يمكن التحقق منه، قرار مُنتَجي أصعب مما يبدو، أساساً لأن تلك الإجابة هي التي تجعل المنتج يصمت بالضبط حين يريده العرض التوضيحي أن يتكلّم.

لماذا لا يسدّ التنظيم هذه الفجوة، ولم يكن ليفعل يوماً

لا شيء من هذا نقدٌ لطبقة الامتثال. توجد التزامات الإفصاح لأنها الشيء الذي يستطيع المنظِّم فحصه فعلاً على نطاق سوق، بكلفة زهيدة وبشكل متكرّر، دون قراءة جوهر كل مخرج ينتجه الذكاء الاصطناعي لشركة ما على الإطلاق. وذلك خيار تصميمي معقول لتنظيم يجب أن يسري على كل شركة تستخدم الذكاء الاصطناعي، لا على من يبنون أدوات قانونية فحسب. لكنه يعني أن الامتثال الكامل والصحة الكاملة يقعان على محورين مستقلّين حقاً. يمكن لشركة أن تكون كل إفصاحاتها منظّمة، وكل موظف مُدرَّباً، وكل مخرج اصطناعي موسوماً تماماً كما يقتضي القانون، ومع ذلك تشحن مساعداً قانونياً يختلق استشهاداً أو يُحرّف holding، لأن ما من مادة في AI Act تطرح ذلك السؤال المحدّد، وما من درجة ثقة من حَكَم عام الغرض مبنيّة للإجابة عنه أيضاً، ليس بالنسبة إلى الغالبية المتنازَع عليها من العمل القانوني.

تسمية الفجوة

صُفَّ الطبقات الثلاث في سطر واحد يَتبيّن شكل جهد القطاع بوضوح. طاقة هائلة تذهب إلى الإفصاح، لأن التنظيم يطلبه ضمن موعد نهائي. وطاقة حقيقية سريعة التحرّك تذهب إلى تقييم الثقة، لأنه عام الغرض، وخالٍ من التدريب، ويَنتقل عبر كل مجال رأى منه نموذج حَكَم نصاً يوماً. وقليل جداً يذهب إلى التحقق من المصدر، لأنه نقيض عام الغرض. فهو يحتاج إلى corpus حقيقي للمجال المحدّد، وتغطية عدائية مبنية ومُصانة لطرائق ذلك المجال المحدّدة في الخطأ الخفي، وبنية تعامل الصمت على أنه أرخص من أن تكون مخطئاً بثقة. إنه لا يَنتقل. عليه أن يُبنى مرة واحدة، بأمانة، للمجال الوحيد الذي تملك corpus له فعلاً.

تلك هي الطبقة التي أمضينا الجزء الأكبر من العام الماضي في بنائها للقانون تحديداً، وهي الأقل بريقاً بين الثلاث بفارق واسع. فهي لا تُنتج رقماً واحداً نظيفاً كما تفعل درجة الثقة، ولا تأتي بشهادة كما يفعل امتثال الإفصاح. وما تُنتجه، حين تُبنى بأمانة، هو شيء أضيق وأصعب على التزييف: ادعاء إما أن يطابق مصدراً حقيقياً أو يُعلَّم بوصفه غير قابل للفحص أصلاً، دون تمليس أي شيء في ما بينهما.