AGB-DE: مجموعة لتقدير الشروط القانونية تلقائيًا في العقود الاستهلاكية الألمانية

المهام والقواعد البيانات القانونية تُستخدم غالبًا كمعيار لتقييم قدرات نماذج اللغة. ومع ذلك، فإن القواعد البيانات المصححة والمتوفرة بشكل مفتوح نادرًا ما توجد. في هذا البحث، نقدم AGB-DE، وهو مجمع يحتوي على 3,764 بندًا من العقود الاستهلاكية الألمانية التي تم تصحيحها وتقييمها قانونيًا من قبل خبراء قانونيين. إلى جانب البيانات، نقدم أول خط أساس لل مهمة اكتشاف البنود المحتمل إبطالها، حيث نقارن أداء النموذج الأساسي SVM مع ثلاثة نماذج لغوية مفتوحة تم تعديلها وتحسين أداء GPT-3.5. تظهر نتائجنا الطبيعة الصعبة للمهمة، حيث لم يتجاوز أي من الأساليب درجة F1 (F1-score) 0.54. بينما كانت النماذج المعدلة غالبًا أفضل فيما يتعلق بالدقة، إلا أن GPT-3.5 تفوقت على الأساليب الأخرى فيما يتعلق بالمداورة (recall). تشير تحليلات الأخطاء إلى أن أحد التحديات الرئيسية قد يكون هو التفسير الصحيح للبنود المعقدة، بدلاً من حدود القرار حول ما هو مسموح وما هو غير مسموح به.