TORQUE: مجموعة بيانات لفهم القراءة تتعلق بأسئلة الترتيب الزمني

أحد العناصر الأساسية في عملية القراءة هو القدرة على فهم العلاقات الزمنية بين الأحداث المُذكورة في نص معين، حتى عندما لا تُذكر هذه العلاقات صراحةً. ومع ذلك، تفتقر المعايير الحالية لفهم القراءة الآلية إلى أي أسئلة تختبر الظواهر الزمنية، مما يعني أن الأنظمة التي تم تدريبها على هذه المعايير لا تمتلك القدرة على الإجابة على أسئلة من قبيل: "ما الذي حدث قبل/بعد [حدث معين]؟". نقدم "TORQUE"، معيارًا جديدًا لفهم القراءة باللغة الإنجليزية، مبنيًا على 3200 مقطع إخباري يحتوي على 21000 سؤالًا تم إنشاؤها يدويًا، تهدف إلى استقصاء العلاقات الزمنية. أظهرت النتائج أن نموذج RoBERTa-large يحقق معدل دقة مطابقة دقيقة (exact-match) بلغ 51% على مجموعة الاختبار الخاصة بـ TORQUE، أي بفارق حوالي 30% عن الأداء البشري.