Apprentissage de Correspondance Bruyante avec Atténuation d'Erreurs Auto-Reinforcées

La recherche intermodale repose sur des ensembles de données à grande échelle bien appariés, qui sont fastidieux à constituer en pratique. Récemment, pour alléger la collecte coûteuse de données, des paires co-occurent automatiquement extraites d'Internet sont utilisées pour l'entraînement. Cependant, cela inclut inévitablement des paires mal appariées, c'est-à-dire des correspondances bruyantes, compromettant la fiabilité de la supervision et dégradant les performances. Les méthodes actuelles exploitent l'effet de mémorisation des réseaux neuronaux profonds pour traiter les correspondances bruyantes, se concentrant excessivement sur l'entraînement guidé par la similarité avec des négatifs difficiles (hard negatives) et subissant ainsi des erreurs auto-renforçantes. À cet égard, nous introduisons un nouveau cadre d'apprentissage de correspondances bruyantes, nommé Mitigation des Erreurs Auto-Renforçantes (SREM). Plus précisément, en considérant le couplage d'échantillons comme des tâches de classification au sein du batch, nous générons des logits de classification pour l'échantillon donné. Au lieu d'un simple score de similarité, nous affinons le filtrage des échantillons grâce à l'incertitude énergétique et estimons la sensibilité du modèle aux échantillons propres sélectionnés en utilisant l'entropie de classification permutée, en tenant compte de la distribution globale des prédictions. De plus, nous proposons un apprentissage complémentaire biaisé intermodal pour exploiter les non-correspondances négligées lors de l'entraînement avec des négatifs difficiles, ce qui améliore encore la stabilité de l'optimisation du modèle et limite les erreurs auto-renforçantes. Des expériences approfondies sur des benchmarks difficiles confirment l'efficacité et l'efficience de SREM.