المؤشر البديل ينجح دائمًا في اختباره الخاص

في عام 2009 أدار المعهد الوطني الأمريكي للمعايير والتقنية NIST مسار TREC Legal Track، وهو تقييم لأساليب العثور على الوثائق ذات الصلة (responsive) في التقاضي. وقد تضمّنت مهمته التفاعلية آلية للطعن. فبعد أن قدّمت الفرق المشاركة نتائج تشغيلها، جرى تصنيف عيّنة من الوثائق على يد مراجعي التصنيف الأول لبناء المرجع المعياري، وكان بوسع أي فريق يرى أنّ وثيقة صُنّفت خطأً أن يطعن في ذلك أمام Topic Authority: محامٍ أقدم يؤدي دور المحامي الذي يتحمّل المسؤولية النهائية عن تحديد ما هو ذو صلة وما ليس كذلك في عملية إنتاج وثائق حقيقية. وكان ذلك الحكم نهائيًا، فلا طعن ثانيًا بعده.

طعنت الفرق في نحو 5 بالمئة من الوثائق المقيَّمة، وطعنت حيث توقعت أن تكسب، لأن كل حكم يُنقض كان يرفع درجاتها. ومن تلك الطعون، نجح 89 بالمئة. أي أنه في الوثائق التي تكلّف أحدهم عناء الاعتراض عليها، اختلف المحامي الأقدم مع مراجع التصنيف الأول في نحو تسع مرات من كل عشر.

ليست منطقة رمادية، بل خطأ صريح في معظمها

عاد Maura Grossman وGordon Cormack، وهما من الباحثين الذين أسّسوا هذا المجال، ليسألا عن السبب. ولم تكن خلاصتهما، المنشورة في Pace Law Review سنة 2012، أنّ الصلة مسألة رأي بطبيعتها. فبإعادة قراءة الوثائق التي نُقض تصنيفها، حكما بأنّ نحو تسع من كل عشر منها كانت إمّا ذات صلة بوضوح أو غير ذات صلة بوضوح، وأنّ نحو 5 بالمئة فقط كانت قابلة للجدل فعلًا. فالخلافات لم تكن أحكامًا متقاربة عند حدود مفهوم عسير، بل كانت في معظمها خطأً بشريًا صريحًا.

ولم يُعفِ الباحثان الجهة صاحبة السلطة أيضًا. ففي 4 إلى 8 بالمئة من الوثائق التي أعادا قراءتها، كان الطرف الذي حكما بخطئه الصريح هو Topic Authority لا المراجع. وكانت Grossman قد عملت بنفسها بصفة Topic Authority في أحد الموضوعات؛ وبإعادة فحص عشر من وثائقها هي، عدلت عن ثلاثة أحكام ووصفت اثنين آخرين بأنهما قابلان للجدل. كما تنص الورقة صراحة على أنّ أرقامها لا يمكن استخدامها لتقدير معدّل خطأ المراجع أو صاحب السلطة على مستوى المجموعة ككل، لأنّ العيّنة بُنيت عمدًا من الوثائق المتنازع عليها. فهي دراسة لمنشأ الخلاف، لا قياس لمعدّل إصابة أيّ طرف.

حين يتحول القياس الرخيص إلى إشارة تدريب

لم يكن شيء من هذا مشكلة للتقييم نفسه. فالفرق لم تطّلع قط على تصنيف المرحلة الأولى؛ وكل ما توفّر لها هو ما يصل إلى عشر ساعات مع Topic Authority. تبدأ المشكلة في الخطوة التالية، في الممارسة العادية، حين يكفّ القياس الرخيص عن كونه مسطرة ويصير الشيء الذي يُضبط النظام عليه. فحين يتعلم مصنِّف من ترميز المراجعة الأولى، لأنّ تلك هي البيانات الموسومة الوحيدة التي يقدر أحد على إنتاجها بكميات كبيرة، فإنه يرث كل ما أخطأ فيه ذلك الترميز. والنظام المدرَّب على موافقة المراجع يتعلم موافقة المراجع، لا أن يكون على صواب، ودرجة دقته المحسوبة مقابل الترميز نفسه الذي دُرّب عليه عاجزة عن التمييز بين الأمرين.

الشكل ذاته، في سجل التدقيق الخاص بنا

وجدنا هذا الشكل في عملنا نحن، ولم يلزم تدقيق خارجي لالتقاطه. بل لزم أن يطرح شخصان من قسم آخر في الفريق سؤالًا غير مريح بصوت عالٍ. سأل أحدهما: من الذي أنتج فعليًا الدليل الذي يجري التحقق مقابله؟ وسأل الآخر: ما أضعف مُدخَل ممكن يُبقي مع ذلك تأكيدنا مستقرًا على قيمة صحيحة؟ واختبرنا السؤالين على النظام الحقيقي بدل التجادل بشأنهما، فكان الجواب أسوأ مما يوحي به أيٌّ منهما. فسجلّ مبنيّ لإثبات أنّ ادعاءً قانونيًا قد جرى التحقق منه على نحو صحيح كان سيعود مؤكَّدًا حتى حين يكون النص الأساسي الذي قوبل به من اختلاق الجهة نفسها التي أنتجت السجل. لقد كان متسقًا داخليًا. كل جزء فيه يوافق كل جزء آخر. غير أنه لم يُطلب منه قط أن يوافق أيّ شيء خارج ذاته.

الاتساق الذاتي والأصالة ليسا خاصية واحدة، ومؤشر واحد مطمئن سيسمح دائمًا للأول بأن ينوب عن الثاني، لأنّ من يقرؤه لا يملك وسيلة لمعرفة أيّهما سُلّم إليه. لذلك فككنا المؤشر. فما كان يمرّ سابقًا في كلمة واحدة صار عليه أن يبيّن تحديدًا ما الذي تحقق منه وما الذي لم يتحقق منه، والسجل غير المرتكز إلى أي شيء خارج ادعاءاته يقول ذلك صراحة بدل أن يعود افتراضًا إلى حالة السلامة.

المُدخَل المصنوع لخداعه

الدرس الكامن خلف القصتين واحد، تفصل بينهما أربع عشرة سنة، وفي نظامين لا يجمع بينهما شيء آخر. حين لا تتوفر وسيلة رخيصة للتحقق مما إذا كان الأمر صحيحًا، يصبح الإغراء أن نتحقق مما إذا كان متسقًا مع نفسه، أو مع من هو مستعد أصلًا لموافقته. وليس ذلك طريقًا مختصرًا إلى الجواب الحقيقي، بل هو سؤال آخر يرتدي ثياب الجواب الحقيقي. والسبيل الوحيد لالتقاطه هو أن نبحث، عن قصد، عن المُدخَل المصنوع خصيصًا لاجتيازه، قبل أن يفعل ذلك سوانا.

المصادر: Grossman, M. R., & Cormack, G. V. (2012). Inconsistent Responsiveness Determination in Document Review: Difference of Opinion or Human Error? 32 Pace Law Review 267. Hedin, B., Tomlinson, S., Baron, J. R., & Oard, D. W., Overview of the TREC 2009 Legal Track.المصادر: Pace Law Review 32:2 · TREC 2009 Legal Track overview