SCROLLS: مقارنة معيارية عبر تسلسليات لغوية طويلة

ركزت معايير معالجة اللغة الطبيعية (NLP) إلى حد كبير على النصوص القصيرة، مثل الجمل والفقرات، على الرغم من أن النصوص الطويلة تمثل جزءًا كبيرًا من اللغة الطبيعية في البيئة الواقعية. نقدم مجموعة مهام تُسمى SCROLLS، تُركّز على الاستدلال عبر النصوص الطويلة. وقد قمنا بدراسة المجموعات الحالية للنصوص الطويلة، وقمنا باختيار تلك التي تكون نصوصها طبيعية الطول، مع تفضيل المهام التي تتطلب دمج المعلومات عبر المدخلات. تشمل مجموعات SCROLLS مهام تلخيص، والإجابة على الأسئلة، والاستنتاج اللغوي الطبيعي، وتغطي مجالات متعددة مثل الأدب، والعلوم، والأعمال، والترفيه. وتشير النماذج الأولية، بما في ذلك نموذج Longformer Encoder-Decoder، إلى وجود مجال واسع للتحسين في مجموعات SCROLLS. ونُقدّم جميع مجموعات البيانات بصيغة موحدة تُحول النص إلى نص، ونُنظّم لوحة متصدرين حية لتسهيل الأبحاث المتعلقة ببنية النماذج وطرق التدريب المسبق.