تحسين التكييف في نماذج التسلسل إلى التسلسل ذات الوعي بالسياق

تم تأسيس نماذج التسلسل العصبي التحويلية بشكل جيد في التطبيقات التي يمكن صياغتها على هيئة تحويل تسلسل إدخال واحد إلى تسلسل مخرجات واحد. وفي هذا العمل، نركز على الحالات التي يعتمد فيها التوليد على كلاً من استعلام قصير وسياق طويل، مثل الإجابة التلخيصية على الأسئلة أو الترجمة على مستوى المستند. قمنا بتعديل النهج القياسي لتحويل التسلسل لاستغلال أفضل لكلا من الاستعلام والسياق من خلال توسيع آلية التحديد لدمج انتباه الاستعلام والسياق بشكل متشابك. كما قمنا بطرح طريقة بسيطة وفعّالة لتعزيز البيانات للنموذج المُقترح. أظهرت التجارب على ثلاث مهام مختلفة أن كلا التحسينين يؤديان إلى تحسينات مستمرة.