تَنْدَا: نقل وتكيف نماذج المحولات المُدرَّبة مسبقًا للتحديد الذكي لجملة الإجابة

نُقدّم TANDA، تقنية فعّالة لتحسين النماذج المُدرّبة مسبقًا من نوع Transformer للوظائف المتعلقة باللغة الطبيعية. بشكل محدد، نقوم أولًا بتحويل نموذج مُدرّب مسبقًا إلى نموذج عام من خلال تحسينه باستخدام مجموعة بيانات كبيرة وعالية الجودة. ثم نُجري خطوة تحسين ثانية لتكييف النموذج المنقولة مع المجال المستهدف. نُظهر فوائد نهجنا في مسألة اختيار الجملة الإجابة، وهي مهمة معروفة في مجال الاستدلال ضمن أسئلة وأجوبة. وقد قمنا ببناء مجموعة بيانات كبيرة لتمكين خطوة النقل، مستفيدين من مجموعة بيانات Natural Questions. يُعدّ نهجنا الأفضل على حسب الحالة الراهنة في بحثين معروفين، وهما WikiQA وTREC-QA، حيث حقق أداءً بمقاييس MAP بلغ 92% و94.3% على التوالي، مما يتفوق بشكل كبير على أعلى الدرجات السابقة التي بلغت 83.4% و87.5%، والتي تم تحقيقها في أبحاث حديثة جدًا. ونُظهر تجريبيًا أن TANDA تُنتج نماذج أكثر استقرارًا ومتانة، مما يقلل من الجهد المطلوب لاختيار القيم المثلى للبارامترات المُعطاة. علاوة على ذلك، نُظهر أن خطوة النقل في TANDA تجعل خطوة التكييف أكثر مقاومة للضوضاء، مما يمكّن من استخدام أكثر فعالية لمجموعات بيانات ملوثة في عملية التحسين. وأخيرًا، نُؤكد أيضًا التأثير الإيجابي لـ TANDA في بيئة صناعية حقيقية، باستخدام مجموعات بيانات متخصصة تخضع لأنواع مختلفة من الضوضاء.