REPAIR : Corrélation de rang et remplacement par moitié des paires bruyantes avec mémoire pour correspondance bruyante

La présence de bruit dans les données acquises entraîne invariablement une dégradation des performances en matière de correspondance intermodale. Malheureusement, l'obtention d'annotations précises dans le domaine multimodal est coûteuse, ce qui a incité certaines méthodes à aborder le problème des paires de données mal appariées dans les contextes de correspondance intermodale, appelé correspondance bruyante. Cependant, la plupart de ces méthodes existantes présentent les limitations suivantes : a) le problème d'accumulation d'erreurs auto-renforçantes et b) un traitement inadéquat des paires de données bruyantes. Pour résoudre ces deux problèmes, nous proposons un cadre généralisé nommé Rank corrElation and noisy Pair hAlf-replacing wIth memoRy (REPAIR), qui tire profit du maintien d'une banque de mémoire pour les caractéristiques des paires appariées.Plus précisément, nous calculons les distances entre les caractéristiques stockées dans la banque de mémoire et celles de la paire cible pour chaque modalité respective, puis nous utilisons la corrélation de rang entre ces deux ensembles de distances pour estimer l'étiquette de correspondance douce de la paire cible. L'estimation de la correspondance douce basée sur les caractéristiques issues de la banque de mémoire plutôt que sur un réseau de similarité permet d'éviter l'accumulation d'erreurs due à des identifications incorrectes du réseau. Pour les paires complètement mal appariées, REPAIR recherche dans la banque de mémoire la caractéristique la plus appropriée pour remplacer une caractéristique d'une modalité, au lieu d'utiliser directement la paire originale ou simplement d'éliminer la paire mal appariée.Nous menons des expériences sur trois jeux de données intermodaux, à savoir Flickr30K, MSCOCO et CC152K, démontrant ainsi l'efficacité et la robustesse de notre méthode REPAIR face aux bruits synthétiques et réels.