تعلم المراسلة الضوضائية مع تصحيح التشابه الميتا

رغم نجاح التعلم متعدد الوسائط في مهام الاسترجاع عبر الأوساط، فإن التقدم الملحوظ يعتمد على المطابقة الصحيحة بين بيانات الوسائط المتعددة. ومع ذلك، فإن جمع مثل هذه البيانات المثالية يكون باهظ الثمن ومستغرقًا للوقت. في الواقع، يتم الحصول على معظم القواعد البيانات المستخدمة على نطاق واسع من الإنترنت وتحتوي حتمًا على أزواج غير متطابقة. تؤدي التدريبات على مثل هذه القواعد البيانات ذات المطابقات الضوضائية إلى تدهور الأداء لأن طرق الاسترجاع عبر الأوساط يمكن أن تفرض بشكل خاطئ تشابه البيانات غير المتطابقة. لحل هذه المشكلة، نقترح شبكة تصحيح الشبه (Meta Similarity Correction Network - MSCN) لتوفير درجات شبه موثوقة. ننظر إلى مهمة تصنيف ثنائي كعملية ميتا تشجع الشبكة (MSCN) على تعلم التمييز من البيانات الميتا الإيجابية والسلبية. لتعزيز تخفيف تأثير الضوضاء، قمنا بتصميم استراتيجية تنقية بيانات فعالة باستخدام البيانات الميتا كمعرفة سابقة لإزالة العينات الضوضائية. تم إجراء العديد من التجارب الواسعة النطاق لبيان قوة طريقتنا في كل من الضوضاء الاصطناعية والضوضاء الحقيقية، بما في ذلك Flickr30K، MS-COCO، و Conceptual Captions.