مجموعة بيانات تحتوي على أسئلة وردود تتعلق بالبحث، مدعومة بأوراق بحثية

غالبًا ما يقرأ قراء الأوراق البحثية الأكاديمية بهدف الإجابة على أسئلة محددة. ويمكن لأنظمة الإجابة على الأسئلة التي تُجيب على هذه الأسئلة أن تُحدث كفاءة كبيرة في استهلاك المحتوى. ومع ذلك، يتطلب بناء مثل هذه الأدوات بيانات تعكس صعوبة المهمة الناتجة عن الاستدلال المعقد حول الادعاءات المذكورة في أجزاء متعددة من الورقة البحثية. على النقيض من ذلك، تحتوي المجموعات المتاحة حاليًا من بيانات الإجابة على الأسئلة المتعلقة بالاستفسار على أسئلة حول معلومات عامة من نوع الحقائق. ولذلك، نقدّم QASPER، وهي مجموعة بيانات تضم 5049 سؤالًا متعلقًا بـ 1585 ورقة بحثية في معالجة اللغة الطبيعية (NLP). ويتم صياغة كل سؤال من قبل ممارس في مجال معالجة اللغة الطبيعية، والذي قرأ فقط العنوان والملخص الخاص بالورقة المقابلة، ويُستهدف من السؤال الحصول على معلومات موجودة في النص الكامل. ثم يتم الإجابة على هذه الأسئلة بواسطة مجموعة منفصلة من ممارسي معالجة اللغة الطبيعية، الذين يُقدّمون أيضًا أدلة داعمة للإجابات. ووجدنا أن النماذج الحالية التي تؤدي جيدًا في مهام الإجابة على الأسئلة الأخرى لا تُظهر أداءً جيدًا في الإجابة على هذه الأسئلة، حيث تتفوق البشر بفارق لا يقل عن 27 نقطة F1 عند الإجابة منها من خلال النص الكامل للورقة، مما يُحفّز بحوثًا إضافية في مجال الإجابة على الأسئلة القائمة على الوثائق والمستندة إلى الاستفسار، وهو المجال الذي صُمّمت هذه المجموعة لتسهيله.