Apprentissage de la composition d'hypercolonnes pour la correspondance visuelle

La représentation des caractéristiques joue un rôle fondamental dans l’établissement de correspondances visuelles, et les méthodes récentes pour le recouvrement d’images s’appuient sur des couches de convolution profondément empilées. Toutefois, ces modèles sont à la fois monolithiques et statiques, car ils utilisent typiquement un niveau spécifique de caractéristiques — par exemple, la sortie de la dernière couche — et s’y tiennent indépendamment des images à comparer. Dans ce travail, nous proposons une nouvelle approche pour la correspondance visuelle qui compose dynamiquement des caractéristiques efficaces en exploitant des couches pertinentes conditionnées aux images à matcher. Inspirée à la fois par la composition de caractéristiques multi-niveaux utilisée en détection d’objets et par les architectures d’inférence adaptative en classification, la méthode proposée, nommée Flow de Hyperpixels Dynamiques, apprend à composer en temps réel des caractéristiques hypercolonne en sélectionnant un petit nombre de couches pertinentes à partir d’un réseau neuronal de convolution profond. Nous démontrons l’efficacité de cette approche sur la tâche de correspondance sémantique, c’est-à-dire l’établissement de correspondances entre des images représentant différentes instances de la même catégorie d’objet ou de scène. Les expériences menées sur des benchmarks standards montrent que la méthode proposée améliore de manière significative les performances de recouvrement par rapport à l’état de l’art, de manière adaptative et efficace.