12 سؤالاً تطرحها على مورّد الذكاء الاصطناعي القانوني، والإجابات التي ينبغي أن تقلقك

معظم الإرشادات المتعلقة باختيار الذكاء الاصطناعي القانوني يكتبها من يبيعونه، ولهذا تميل إلى سرد الخصائص بدل طرح الأسئلة. والخصائص سهلة الإجابة وعصيّة على التحقق. أما السؤال الذي تأتي إجابته خاطئة فلا هو سهل ولا هو عصيّ.

ما يلي هو القائمة التي نستخدمها نحن، وهي ليست قائمة مريحة لنا كذلك. فعدد من هذه الأسئلة لم يكن في وسعنا الإجابة عنه إجابة جيدة قبل عام واحد، وأحدها يصف عيباً وجدناه في نظامنا نحن واضطررنا إلى تفكيكه. وقد رُتّبت بحسب حجم الضرر الذي تُحدثه الإجابة السيئة.

اسأل عمّا تقوله المخرجات حين لا يكون قد جرى التحقق من شيء

السؤال الأول هو ما لا يكاد أحد يطرحه: حين يعجز النظام عن التحقق من شيء، ماذا تقول النتيجة على وجه الدقة؟ خطوة تحقق تُبلّغ بالنجاح أو الإخفاق لا تملك سوى بتّ واحد تعمل به، وخلفه 4 حالات على الأقل: جرى التحقق وكان سليماً، وجرى التحقق وكان معطوباً، ولا شيء يستدعي التحقق، وتعذّر التحقق. فإن انطوت الحالتان الأخيرتان في الأولى، صار من المتعذّر على من يقرأ النتيجة أن يميّز بين نتيجة سليمة ونتيجة صامتة، ولا يُصلح هذا الفرق أي قدر من العناية في المراحل اللاحقة. الإجابة الجيدة تسمّي حالة ثالثة صريحة، أما الإجابة السيئة فهي عرض توضيحي ينجح فيه كل شيء.

ثم اسأل عمّا إذا كانت النتيجة النظيفة على نحو غير معتاد تُطلق أي إجراء. فالمستند الذي يتضمن عناصر للفحص أقل مما يتضمنه عادةً مستند من صنفه إشارة قائمة بذاتها. وإذا تعامل النظام معها بوصفها مطمئنة بدل أن يعدّها دافعاً للسؤال عن السبب، فإن أشد حالات الإخفاق صمتاً هي التي لن يُظهرها أبداً.

واسأل عمّا جرى الفحص عليه فعلاً. فالنتيجة لا تقبل التأويل إلا إلى جانب بيان أمين لمجموعة العمل: كم عنصراً دخل في النطاق، وما هي هذه العناصر. والمورّد الذي يعرض النتيجة دون أن يعرض المجتمع المفحوص إنما يعرض نصف قياس ويقدّمه على أنه قياس كامل.

اسأل من أين تأتي المرجعية الحقيقية

اسأل عمّن أنتج الأدلة التي يجري التحقق في مواجهتها. فإذا كان الطرف نفسه الذي أنتج الادعاء هو من أنتج المادة التي يُقاس عليها، فما بين يديك فحص اتساق يرتدي ثوب فحص أصالة. سيكون متماسكاً من الداخل، يوافق كل جزء فيه سائر الأجزاء، ولن يكون قد طُلب منه يوماً أن يوافق شيئاً خارج نفسه. وهذا هو العيب الذي وجدناه في سجل التدقيق لدينا، ولم يظهر إلا حين طرح زميلان الصيغة غير المريحة من السؤال بصوت مسموع، ثم اختبراها على النظام الحقيقي بدل أن يتجادلا بشأنها.

اسأل عمّا يحدث للنص الملغى. ففي النظام المقنَّن ليس الإخفاق النموذجي استشهاداً مختلقاً، بل هو مادة حقيقية مقتبسة اقتباساً صحيحاً، توقفت عن كونها سارية المفعول ولا تزال يُستشهد بها بوصفها القانون النافذ. وإذا عامل المورّد الإلغاء بوصفه سجلاً ناقصاً أو خطأً بدل أن يعدّه حكماً قائماً بذاته، فإن النظام يفحص ما إذا كان النص موجوداً، لا ما إذا كان هو الحكم الواجب التطبيق.المصادر: لماذا لا يكون القانون الملغى معطى متقادماً

اسأل عن المعنى الفعلي للطابع الزمني المثبت على المصدر. ففي معظم أنظمة الاسترجاع يسجّل هذا الطابع آخر مرة مسّ فيها أحدهم السجل، لا ما إذا كان ما يقوله لا يزال صحيحاً. وهما سؤالان مختلفان بإجابتين مختلفتين، وفي الفجوة بينهما تقيم المخرجات الخاطئة الواثقة من نفسها.

اسأل عن الولايات القضائية التي تعمل فيها فعلاً

اسأل عن الفرق بين ولاية قضائية مفهرسة، وأخرى جُمعت متونها فحسب، وثالثة لا يستطيع النموذج أن يستدلّ بشأنها إلا من معرفته العامة. الثلاث جميعاً قد تبدو متطابقة في عرض توضيحي، والأولى وحدها تمنحك استرجاعاً في مواجهة مصادر حقيقية. والمورّد الذي يرفض أن يرسم لك هذا الحد هو مورّد يحمّل رقم التغطية لديه ما لا يقوى عليه.

اسأل عمّا يفعله النظام بولاية قضائية لم يُنمذجها. هناك إجابتان محتملتان، واحدة منهما فقط آمنة: إما أن يمتنع، وإما أن ينتج شيئاً بتطبيق قواعد ولاية قضائية مجاورة. وفي كل ما يرتبط به ميعاد، تكون الثانية هي النتيجة الأسوأ: يُبنى على تاريخ يبدو معقولاً، فيقع الإيداع متأخراً، ولا يبقى شيء يمكن إصلاحه. اطلب أن ترى الامتناع بعينك.

اسأل عمّا إذا كان منطق التحقق قد بُني للّغة التي سيعمل بها، أم تُرجم إليها. فالطرق التي ينحرف بها الادعاء القانوني انحرافاً دقيقاً، من نفي مقلوب، ومُكمِّم مُضعَّف، واستثناء ساقط، أنماط خاصة بكل لغة. والنظام الذي خضع لاختبار عدائي بلغة واحدة لا يضمن التقاط الإخفاق المكافئ في لغة أخرى، وصورة الإخفاق هنا صمت لا رسالة خطأ.المصادر: التحقق لا ينتقل مع الترجمة

اسأل عمّا يحدث حين يخطئ النظام

اسأل من أي صفة مهنية كُتب التحليل. فالعقد نفسه والقانون نفسه يفضيان إلى نتائج مختلفة تبعاً لما إذا كان السؤال هو إمكان توثيق محرر رسمي، أم ما إذا كان التصرف قابلاً للقيد، أم متى يجب الإيداع. والعيب الذي لا يعني المحامي المترافع في شيء قد يكون هو النتيجة الحاسمة لدى أمين السجل. وإذا لم تذكر المخرجات الصفة المهنية التي كُتبت منها، فإنها تكون قد اختارت لك واحدة في صمت.

اسأل عن كلفة العيب الواحد على مستوى محفظة القضايا كلها. فالمهني المُرهَق ينتج أخطاء تتبعثر، أما النموذج الذي فيه عيب فينتج الخطأ نفسه في كل مرة يتكرر فيها النمط، في كل ملف، ودفعة واحدة. وليس هذا ادعاءً بشأن أيهما أدق في المتوسط، بل هو أن الخطأ غير المترابط يتوازن على مدى قرارات كثيرة بينما الخطأ المترابط يتراكم، ولا تنفع أي طمأنة إجمالية الملف الذي وقع عليه.المصادر: عدم تماثل الثقة

وأخيراً، اسأل كيف يبدو السجل لمن لم يكن حاضراً. ليس السؤال عن وجود سجل للأحداث، فكل شيء يُسجَّل. اسأل عمّا إذا كان السجل يُظهر ما جرى التحقق منه، وما لم يجرِ التحقق منه، وما الذي جرى الفحص عليه، ومن الجهة المسؤولة، في صورة يمكن لجهة رقابية أو لخصم أن يقيّمها دون أن يأخذ بكلام المورّد في أي منها. هذا هو الفرق بين نظام قابل للتدقيق ونظام لديه سجل تدقيق.

كيف تقرأ الإجابات

ليس لأي من هذه الأسئلة إجابة صحيحة واحدة، وأي مورّد يجيب عن الـ 12 جميعها دون تردد فهو إما استثنائي وإما سمعها من قبل واستعدّ لها. والمهم هو شكل الإجابة: المحدَّد يتقدم على الطليق، والقيد المسمّى صراحةً يتقدم على الطمأنة، وعرضٌ بأن يريك حالة الإخفاق يتقدم على عرض توضيحي ينجح فيه كل شيء.

والسبب في طرحها قبل التوقيع لا بعده هو أن معظم هذه العيوب غير مرئية من الخارج في اللحظة نفسها التي تُحدث فيها الضرر. فالنظام الذي لا يبلّغ إلا بالمشكلات التي وجدها ليس لديه، بحكم بنائه، ما يقوله عن المشكلات التي لم يبحث عنها قط.