شبكة الانتباه المتعدد الدقة للإجابة على الأسئلة ذات الأدلة المتعددة

حققت النماذج العصبية من البداية إلى النهاية تقدماً كبيراً في مجال الإجابة على الأسئلة، ومع ذلك تظهر الدراسات الحديثة أن هذه النماذج تستند ضمنياً إلى افتراض أن الإجابة والأدلة تظهر معاً بشكل قريب داخل وثيقة واحدة. في هذا البحث، نقترح شبكة الانتباه الخشن الدقيق (CFC)، وهي نموذج جديد للإجابة على الأسئلة يجمع المعلومات من الأدلة الموزعة عبر عدة وثائق. يتكون النموذج CFC من وحدة خشنة تقوم بتفسير الوثائق بالنسبة للطلب ثم تحديد إجابة ذات صلة، ووحدة دقيقة تقوم بتقييم كل إجابة مرشحة من خلال مقارنة ظهورها عبر جميع الوثائق مع الطلب. نصمم هذه الوحدات باستخدام هرميات الانتباه المشترك والانتباه الذاتي، التي تتعلم كيفية التركيز على أجزاء مختلفة من المدخلات. في مهمة الإجابة على الأسئلة التي تعتمد على أدلة متعددة Qangaroo WikiHop، حقق النموذج CFC نتيجة جديدة رائدة بلغت 70.6% في مجموعة الاختبار العمياء، مما يتفوق على أفضل النتائج السابقة بنسبة دقة بلغت 3% رغم عدم استخدامه لمشفرات سياقية مسبقاً (pretrained contextual encoders).