ReClor: مجموعة بيانات لفهم القراءة تتطلب التفكير المنطقي

النماذج اللغوية المدربة مسبقًا الحديثة قد حققت أداءً متميزًا في معظم قواعد البيانات الشائعة لفهم النصوص. حان الوقت لإدخال قواعد بيانات أكثر تحديًا لدفع تطور هذا المجال نحو فهم شامل للمنطق في النصوص. في هذه الورقة البحثية، نقدم مجموعة بيانات جديدة لفهم القراءة تتطلب الاستدلال المنطقي (ReClor) مستخرجة من اختبارات القبول الجامعي القياسية. كما تشير الدراسات السابقة، فإن قواعد البيانات التي تم تصنيفها بواسطة البشر غالبًا ما تحتوي على تحيزات، والتي يتم استغلالها غالبًا من قبل النماذج لتحقيق دقة عالية دون فهم حقيقي للنصوص. من أجل تقييم شامل لقدرة النماذج على الاستدلال المنطقي في ReClor، نقترح تحديد نقاط البيانات المتحيزة وفصلها في مجموعة سهلة (EASY)، بينما يتم وضع الباقي في مجموعة صعبة (HARD). تظهر النتائج التجريبية أن النماذج الرائدة لديها قدرة متميزة على التقاط التحيزات الموجودة في قاعدة البيانات بتحقيق دقة عالية في مجموعة السهل (EASY). ومع ذلك، فإنها تعاني من أداء ضعيف يقترب من التخمين العشوائي في مجموعة الصعبة (HARD)، مما يشير إلى الحاجة لمزيد من البحث لتعزيز جوهري لقدرة النماذج الحالية على الاستدلال المنطقي.