التدريب المسبق لمحولات قائمة على الفقرات للاستنتاج متعدد الجمل

تُحل مهام الاستنتاج مثل اختيار الجملة الإجابة (AS2) أو التحقق من الحقائق عادةً من خلال عملية التخصيص الدقيق للنماذج القائمة على الترانسفورمر ك classifiers منفصلة للزوج من الجمل. تُظهر الدراسات الحديثة أن هذه المهام تستفيد من نمذجة الاعتماديات بين عدد متعدد من الجمل المرشحة بشكل جماعي. في هذه الورقة، نُظهر أولًا أن النماذج المُدرَّبة مسبقًا الشهيرة تؤدي بشكل ضعيف عند استخدامها في التخصيص الدقيق لمهام الاستنتاج متعددة المرشحات. ثم نقترح هدفًا جديدًا للتدريب المسبق يُنمذج المعاني على مستوى الفقرة عبر عدد متعدد من الجمل المدخلة. وتُظهر تقييماتنا على ثلاث مجموعات بيانات لـ AS2 وواحدة لـ التحقق من الحقائق تفوق تقنية التدريب المسبق الخاصة بنا على التقنيات التقليدية، خصوصًا عند استخدام النماذج القائمة على الترانسفورمر كنماذج جماعية لمهام الاستنتاج متعددة المرشحات، وكذلك عند استخدامها كـ cross-encoders لصيغ الجملة-زوجية لهذه المهام. تم إصدار الكود والنماذج المُدرَّبة مسبقًا عبر الرابط التالي: https://github.com/amazon-research/wqa-multi-sentence-inference.