تعلم إعادة مطابقة الأزواج غير المتطابقة للبحث العابر للوسائط بشكل متين

جمع مجموعات بيانات متعددة الوسائط متطابقة بشكل جيد أمر حاسم لتدريب نماذج الاسترجاع عبر الأوضاع (النماذج العابرة للوسائط). ومع ذلك، في السيناريوهات الحقيقية، يتم حصاد كميات هائلة من البيانات المتعددة الوسائط من الإنترنت، والتي تحتوي حتماً على أزواج غير متطابقة جزئياً (Partially Mismatched Pairs - PMPs). لا شك أن مثل هذه البيانات ذات الصلة الدلالية المحدودة ستؤثر بشكل كبير على أداء الاسترجاع عبر الأوضاع. كانت الجهود السابقة تهدف إلى تخفيف هذه المشكلة بتقدير علاقة مطابقة مرنة لتقليل مساهمة الأزواج غير المتطابقة جزئياً. في هذا البحث، نسعى إلى معالجة هذا التحدي من وجهة نظر جديدة: الشبه الدلالي المحتمل بين العينات غير المترابطة يجعل من الممكن استخراج المعرفة المفيدة من الأزواج غير المتطابقة. لتحقيق هذا الهدف، نقترح L2RM، إطار عام يستند إلى النقل الأمثل (Optimal Transport - OT) ويتعلم إعادة ترتيب الأزواج غير المتطابقة. بالتفصيل، يهدف L2RM إلى إنشاء ترتيبات مكرمة عن طريق البحث عن خطة نقل ذات تكلفة أدنى عبر الأوضاع المختلفة. لصياغة فكرة إعادة الترتيب في النقل الأمثل، أولاً، نقترح دالة تكلفة ذاتية الإشراف تتعلم تلقائياً من العلاقة بين التشابه والتكلفة. ثانياً، نقدم نموذجاً لمشكلة النقل الأمثل الجزئي مع قيود على النقل بين الإيجابيات الخاطئة لتعزيز الترتيبات المكرمة بشكل أكبر. أظهرت التجارب الواسعة على ثلاثة مقاييس أن L2RM يحسن بشكل كبير صلابة النماذج القائمة ضد الأزواج غير المتطابقة جزئياً. يمكن الحصول على الكود من https://github.com/hhc1997/L2RM.