Apprentissage avec correspondance bruitée

Cet article étudie un nouveau paradigme d'apprentissage face aux étiquettes bruitées, appelé correspondance bruitée (NC, Noisy Correspondence). Contrairement aux étiquettes bruitées bien étudiées, qui se concentrent sur les erreurs dans l'annotation de catégorie d'un échantillon, la NC fait référence aux erreurs dans la relation d'alignement entre deux points de données. Bien que de tels paires de faux positifs soient fréquentes, particulièrement dans les données collectées sur Internet, elles sont négligées par la plupart des travaux existants. En prenant comme exemple la recherche multimodale, nous proposons une méthode appelée apprentissage avec correspondance bruitée (LNC, Learning with Noisy Correspondence). En résumé, le LNC commence par extraire de manière approximative des sous-ensembles propres et bruités à partir des données initiales, puis corrige les paires de faux positifs à l’aide d’une nouvelle fonction de prédiction adaptative. Enfin, le LNC intègre une nouvelle perte de triplet à marges souples afin de rendre la recherche multimodale robuste face à la NC. Pour valider l’efficacité du LNC proposé, nous menons des expériences sur six jeux de données standard dans les tâches de recherche image-texte et vidéo-texte. Outre l’efficacité du LNC, les résultats expérimentaux mettent en évidence la nécessité d’une solution explicite face à la NC, non seulement dans les paradigmes standards d’entraînement, mais aussi dans les paradigmes de pré-entraînement et de fine-tuning.