تدريب نماذج Transformer مُسبقاً باستخدام أهداف على مستوى الجملة لاختيار الجملة الإجابة

من المهام الهامة في تصميم أنظمة الإجابة على الأسئلة (QA) اختيار جملة الإجابة (AS2): وهو اختيار الجملة التي تحتوي على (أو تمثل) إجابة السؤال من مجموعة من المستندات ذات الصلة التي تم استرجاعها. في هذه الورقة، نقترح ثلاث أهداف جديدة لتدريب المُسبّق (pre-training) على مستوى الجملة باستخدام نماذج المحولات (transformer)، تُدمج المعاني على مستوى الفقرات داخل المستندات وعبرها، بهدف تحسين أداء المحولات في مهام AS2 وتقليل الحاجة إلى مجموعات بيانات مُعلّمة كبيرة. وبشكل خاص، يُطلب من النموذج التنبؤ بما إذا كانت: (أ) جملتان مستخرجان من نفس الفقرة، (ب) جملة معينة مستخرجة من فقرة معينة، و(ج) فقرتان مستخرجان من نفس المستند. تُظهر التجارب التي أجريت على ثلاث مجموعات بيانات عامة وواحدة صناعية لمهام AS2 التفوق التجريبي للنماذج المُدرّبة مسبقًا التي اقترحناها مقارنةً بالنماذج الأساسية مثل RoBERTa وELECTRA في مهام AS2.