ReCon : Amélioration de la discrimination de correspondance véritable par cohérence relationnelle pour un apprentissage robuste des correspondances bruyantes

Peut-on identifier avec précision les correspondances véritables à partir de jeux de données multimodaux contenant des paires de données mal appariées ? Les méthodes existantes mettent principalement l’accent sur l’appariement de similarité entre les représentations des objets à travers les modalités, ce qui peut entraîner une négligence de la consistance relationnelle intramodale, un aspect crucial pour distinguer les correspondances véritables des fausses. Cette omission expose fréquemment au risque de confondre des négatifs avec des positifs, conduisant ainsi à une dégradation inattendue des performances. Pour remédier à ce problème, nous proposons un cadre général d’apprentissage basé sur la consistance relationnelle, nommé ReCon, visant à discriminer avec précision les correspondances véritables au sein des données multimodales, et ainsi atténuer efficacement les effets néfastes des appariements erronés. Plus précisément, ReCon exploite un nouvel apprentissage de consistance relationnelle afin d’assurer une dualité d’alignement : d’une part, la consistance relationnelle intermodale entre différentes modalités, et d’autre part, la consistance relationnelle intramodale au sein de chaque modalité. Grâce à ces deux contraintes relationnelles, ReCon renforce considérablement son efficacité dans la discrimination des correspondances véritables, permettant ainsi de filtrer de manière fiable les paires mal appariées et de réduire les risques d’erreurs de supervision. Des expériences étendues sur trois jeux de données standard largement utilisés — Flickr30K, MS-COCO et Conceptual Captions — démontrent l’efficacité et la supériorité de ReCon par rapport aux méthodes de pointe (SOTA). Le code est disponible à l’adresse suivante : https://github.com/qxzha/ReCon.