كيفية تدريب ذئبك: تكثيف التباين نحو استرجاع كثيف عام

تم تطوير عدة تقنيات في السنوات الأخيرة لتحسين الاسترجاع الكثيف (DR)، مثل التعلم التبايني غير المراقب وإنشاء استعلامات افتراضية. ومع ذلك، يعاني معظم نماذج الاسترجاع الكثيف الحالية من تناقضات في الكفاءة بين الاسترجاع المراقب والاسترجاع من الصفر، وهو ما يُرجّح أنه ناتج عن قدرة النموذج المحدودة. ونُعارض هذا الافتراض، ونُظهر أنه يمكن تدريب نموذج استرجاع كثيف عامّ يمكنه تحقيق دقة عالية في كلا نوعي الاسترجاع – المراقب والمن الصفر – دون الحاجة إلى زيادة حجم النموذج. وبشكل خاص، قمنا بدراسة منهجية لعملية التعلم التبايني في نماذج الاسترجاع الكثيف ضمن إطار تحسين البيانات (DA). أظهرت دراستنا أن الممارسات الشائعة لتحسين البيانات، مثل تحسين الاستعلام باستخدام نماذج توليدية وإنشاء تسميات مرجعية افتراضية باستخدام معالج متقاطع (cross-encoder)، غالبًا ما تكون غير فعّالة وغير مثلى. ولذلك، اقترحنا منهجًا جديدًا لتحسين البيانات يعتمد على استعلامات متنوعة ومصادر متنوعة للإشراف، بهدف تدريب نموذج استرجاع كثيف عامّ بشكل تدريجي. وفي النتيجة، أصبح DRAGON، النموذج الكثيف الذي تم تدريبه باستخدام تحسينات متنوعة، أول نموذج من نوع BERT-base يحقق أداءً متفوقًا في كلا التقييمين المراقب والمن الصفر، بل ويتنافس حتى مع النماذج التي تعتمد على تفاعلات متأخرة أكثر تعقيدًا مثل ColBERTv2 وSPLADE++.