Apprentissage non supervisé de points d'intérêt par échange de vecteurs descripteurs

L'équivariance aux transformations d'images aléatoires est une méthode efficace pour apprendre les points caractéristiques des catégories d'objets, tels que les yeux et le nez dans les visages, sans supervision manuelle. Cependant, cette méthode ne garantit pas explicitement que les points caractéristiques appris soient cohérents avec les changements entre différentes instances du même objet, par exemple différentes identités faciales. Dans cet article, nous développons une nouvelle perspective sur l'approche équivariante en soulignant que les détecteurs de points caractéristiques denses peuvent être interprétés comme des descripteurs locaux d'images dotés d'invariance face aux variations intra-catégorie. Nous proposons ensuite une méthode directe pour imposer cette invariance dans la perte équivariante standard. Pour ce faire, nous échangeons les vecteurs descripteurs entre des images de différentes instances d'objets avant de les appairer géométriquement. De cette manière, les mêmes vecteurs doivent fonctionner indépendamment de l'identité spécifique de l'objet considéré. Nous utilisons cette approche pour apprendre des vecteurs qui peuvent simultanément être interprétés comme des descripteurs locaux et des points caractéristiques denses, combinant ainsi les avantages des deux. Les expériences menées sur des benchmarks standards montrent que cette approche peut égaler, voire surpasser dans certains cas, les performances de pointe parmi les méthodes existantes qui apprennent les points caractéristiques sans supervision. Le code est disponible à l'adresse www.robots.ox.ac.uk/~vgg/research/DVE/.