اكتشاف العقود: مجموعة بيانات وتحدي استرجاع معنوي بقليل من الأمثلة مع قواعد تنافسية

نُقدّم مهمة مشتركة جديدة لاسترجاع الدلالة من النصوص القانونية، حيث يُطلب إجراء ما يُعرف باكتشاف العقود، بحيث يتم استخراج أحكام قانونية من الوثائق، مع إعطاء عدد قليل من الأمثلة على أحكام مماثلة من نصوص قانونية أخرى. تختلف هذه المهمة بشكل كبير عن المهام التقليدية في التمييز بين الجمل (NLI) والمهام المشتركة المتعلقة باستخراج المعلومات القانونية (فمثلاً، يتعين تحديد نطاق نصي بدلًا من مستند واحد أو صفحة أو فقرة واحدة). يلي وصف المهمة المُقترحة تقييمًا لعدة حلول ضمن إطار موحد اقترح لفروع هذه الأساليب. وقد أظهرت النتائج أن المُشفرات المُدرّبة مسبقًا ذات الأداء الأفضل في الوقت الراهن لا تُقدّم نتائج مرضية على المهمة المُقترحة. في المقابل، تُظهر الحلول القائمة على نماذج اللغة أداءً أفضل، خاصة عند تطبيق التدرّب غير المُشرَّف. بالإضافة إلى دراسات التحليل التجريبي (ablation studies)، تم التطرق إلى أسئلة تتعلق بدقة كشف القطع النصية ذات الصلة بحسب عدد الأمثلة المتاحة. إلى جانب مجموعة البيانات والنتائج المرجعية، تم إتاحة نماذج لغة متخصصة في المجال القانوني بشكل عام.