RetroMAE v2: مُشفّر تلقائي مُقنَّع ثنائي القناة لتدريب مُقدّمات لغوية مُوجّهة نحو الاسترجاع

لدعم تطبيقات الاسترجاع مثل البحث على الويب والإجابة على الأسئلة بشكل أفضل، تُبذل جهود متزايدة لتطوير نماذج لغوية موجهة للاسترجاع. وتركز معظم الدراسات الحالية على تحسين قدرة التمثيل الدلالي لتمثيلات السياق الخاصة برمز [CLS]. ومع ذلك، تُظهر دراسة حديثة أن الرموز العادية بخلاف [CLS] قد توفر معلومات إضافية، مما يساعد على إنتاج تمثيل أفضل. وبناءً على ذلك، يصبح من الضروري توسيع الأساليب الحالية بحيث يمكن تدريب جميع تمثيلات السياق بشكل مشترك لمهام الاسترجاع.وبهذا الدافع، نقترح طريقة تدريب مسبق جديدة تُسمى "مُفكّك المُشفّر التلقائي المزدوج"، أو اختصارًا DupMAE، والتي تهدف إلى تحسين قدرة التمثيل الدلالي لتمثيلات السياق لكل من رمز [CLS] والرموز العادية. وتُقدّم DupMAE مهمتين لاسترجاع البيانات: الأولى هي إعادة بناء الجملة الأصلية بناءً على تمثيل [CLS]، والثانية هي تقليل خسارة "مجموعة الكلمات" (BoW) المتعلقة بالجملة الأصلية بناءً على تمثيلات جميع الرموز العادية. وتُجمع الخسارة الناتجة عن هاتين المهمتين لتدريب نموذج ترميز موحد. ثم يتم دمج تمثيلات [CLS] والرموز العادية، بعد تقليل الأبعاد وتوحيد البيانات، لتكوين تمثيل دلالي موحد للجملة المدخلة. تُعد DupMAE بسيطة ولكنها مُتنافسة من الناحية التجريبية: فبتكلفة استرجاع صغيرة، تساهم بشكل كبير في قدرة النموذج على التمثيل والقدرة على التحويل، حيث تم تحقيق تحسينات ملحوظة على معايير MS MARCO وBEIR.