Apprentissage de Correspondance Bruyante avec Correction de Similarité Métadonnées

Bien que l'apprentissage multimodal ait connu un succès dans les tâches de recherche intermodale, ce progrès remarquable repose sur la correspondance correcte entre les données multimédia. Cependant, la collecte de telles données idéales est coûteuse et chronophage. En pratique, la plupart des jeux de données largement utilisés sont extraits d'Internet et contiennent inévitablement des paires mal assorties. L'entraînement sur ces jeux de données avec une correspondance bruyante entraîne une dégradation des performances car les méthodes de recherche intermodale peuvent faussement forcer les données mal assorties à être similaires. Pour résoudre ce problème, nous proposons un Réseau de Correction de Similarité Métadonnées (Meta Similarity Correction Network, MSCN) qui fournit des scores de similarité fiables. Nous considérons une tâche de classification binaire comme un processus métadonné qui incite le MSCN à apprendre la discrimination à partir des métadonnées positives et négatives. Afin d'atténuer davantage l'influence du bruit, nous avons conçu une stratégie efficace de purification des données en utilisant les métadonnées comme connaissances a priori pour éliminer les échantillons bruyants. De nombreuses expériences ont été menées pour démontrer les forces de notre méthode face aux bruits synthétiques et réels, y compris sur les ensembles de données Flickr30K, MS-COCO et Conceptual Captions.