التعلم مع التوائم الضوضائية للتوافق عبر الوسائط

التوافق عبر الوسائط، الذي يهدف إلى إقامة علاقة تقابل بين وسائط مختلفة، يُعد أساسياً لعدد كبير من المهام مثل استرجاع البيانات عبر الوسائط وفهم الرؤية واللغة. وعلى الرغم من أن عددًا هائلاً من الأساليب الخاصة بالتوافق عبر الوسائط قد تم اقتراحها وحقق تقدماً ملحوظاً في السنوات الأخيرة، فإن جميع هذه الأساليب تقريباً تفترض ضمنياً أن بيانات التدريب متعددة الوسائط مُحاذاة بشكل صحيح. ومع ذلك، فإن هذه الافتراضات غير واقعية في الممارسة العملية، بل تكون مكلفة للغاية وحتى مستحيلة التحقيق أحيانًا. استناداً إلى هذه الملاحظة، نكشف عن اتجاه خفي وصعب في مجال التوافق عبر الوسائط، يُعرف بـ"التوافق غير الدقيق"، والذي يمكن اعتباره نموذجاً جديداً للعلامات الخاطئة. على عكس العلامات الخاطئة التقليدية التي تشير في الغالب إلى أخطاء في علامات الفئات، فإن "التوافق غير الدقيق" يشير إلى أزواج من العينات غير المطابقة. ولحل هذه المشكلة الجديدة، نقترح طريقة مبتكرة للتعلم مع التوافق غير الدقيق، تُسمى "مُصلح التوافق غير الدقيق" (NCR). وبشكل موجز، تقوم NCR بتقسيم البيانات إلى مجموعتين: نظيفة ومشوهة، استناداً إلى تأثير الذاكرة في الشبكات العصبية، ثم تقوم بتصحيح التوافق من خلال نموذج تنبؤي تكيفي بطريقة تدريس متبادل (co-teaching). ولإثبات فعالية طريقة我们的، أجرينا تجارب باستخدام مطابقة الصور والنصوص كمثال توضيحي. وقد أكدت التجارب الواسعة على مجموعات بيانات Flickr30K وMS-COCO وConceptual Captions فعالية طريقة نحن. يمكن الوصول إلى الشفرة من خلال الموقع: www.pengxi.me.