Apprentissage représentation partiellement aligné sur la vue avec une perte contrastive robuste au bruit

Dans les applications réelles, il est fréquent qu’uniquement une partie des données soit alignée entre les différentes vues en raison d’asynchronismes spatiaux, temporels ou spatiotemporels, conduisant ainsi au problème dit de correspondance partiellement alignée entre vues (Partially View-aligned Problem, PVP). Pour résoudre ce problème peu exploré, en l’absence d’étiquettes, nous proposons d’apprendre simultanément des représentations et d’aligner les données en utilisant une perte contrastive robuste au bruit. En résumé, pour chaque échantillon provenant d’une vue, notre méthode vise à identifier ses correspondants appartenant à la même catégorie dans les autres vues, permettant ainsi d’établir des correspondances inter-vues. Étant donné que l’apprentissage contrastif nécessite des paires de données en entrée, nous construisons des paires positives à partir des correspondances connues et des paires négatives par échantillonnage aléatoire. Afin de réduire, voire d’éliminer, l’impact des faux négatifs induits par l’échantillonnage aléatoire, nous proposons une perte contrastive robuste au bruit, capable d’adapter dynamiquement la prévention de la domination de ces faux négatifs dans l’optimisation du réseau. Contrairement aux algorithmes comme l’algorithme hongrois et ses variantes, notre approche du PVP vise à atteindre un alignement au niveau catégorique, plutôt qu’au niveau d’instance. Grâce à la plus grande accessibilité et à la meilleure échelle de l’alignement catégorique, cette stratégie s’avère particulièrement adaptée aux tâches telles que le regroupement (clustering) et la classification. En outre, à notre connaissance, cette étude constitue la première tentative réussie d’assurer la robustesse de l’apprentissage contrastif face aux étiquettes bruitées. Des expériences étendues démontrent les performances prometteuses de notre méthode par rapport à dix approches de pointe en apprentissage multi-vues, dans les tâches de clustering et de classification.