FiDO: دمج في المُفكِّك مُحسَّن لأداء أقوى واستدلال أسرع

نموذج Fusion-in-Decoder (FiD) هو نموذج لغوي مُعزّز بالاسترجاع، يتميّز بقدرته العالية، ويُعدّ الأفضل في العديد من مهام معالجة اللغة الطبيعية التي تعتمد على المعرفة. ومع ذلك، فإن البنية المُستخدمة في FiD تم اختيارها بإجراء تعديلات بسيطة جدًا على نموذج T5 القياسي، وهو ما أظهره تحليلنا أنه غير مثالي إلى حد كبير بالنسبة لنماذج مُعزّزة بالاسترجاع. وبشكل خاص، يُخصص FiD الجزء الأكبر من العمليات الحسابية (FLOPs) للـ encoder، في حين أن معظم وقت الاستدلال ينتج عن قيود سعة النقل في الذاكرة داخل الـ decoder. نقترح تغييرين بسيطين في بنية FiD للتخفيف من قيود سعة النقل في الذاكرة، مما يؤدي إلى تسريع عملية الاستدلال بنسبة تصل إلى 7 أضعاف. هذا يمكّننا من استخدام decoder أكبر بكثير بتكاليف محدودة. ونُسمي النموذج المُعدّل بـ FiDO، ونُظهر أن أداؤه يتفوّق بشكل كبير على النماذج الحالية من FiD عبر مجموعة واسعة من الميزانيات الخاصة بالاستدلال. على سبيل المثال، يُحقّق FiDO-Large-XXL استدلالًا أسرع من FiD-Base، ويُظهر أداءً أفضل من FiD-Large.