Hyperpixel Flow : Correspondance sémantique avec des caractéristiques neuronales multi-couches

L'établissement de correspondances visuelles en présence de grandes variations intra-classe nécessite l'analyse d'images à différents niveaux, allant des caractéristiques liées à la sémantique et au contexte jusqu'aux motifs locaux, tout en étant invariant aux détails spécifiques à chaque instance. Pour relever ces défis, nous représentons les images par des « hyperpixels » qui exploitent un petit nombre de caractéristiques pertinentes sélectionnées parmi les premières et les dernières couches d'un réseau neuronal convolutif. En tirant parti des caractéristiques condensées des hyperpixels, nous développons un algorithme de correspondance en temps réel basé sur le vote géométrique de Hough. La méthode proposée, appelée hyperpixel flow, établit un nouveau niveau de référence sur trois benchmarks standards ainsi que sur un nouveau jeu de données, SPair-71k, qui contient un nombre considérablement plus important de paires d'images que les jeux de données existants, avec des annotations plus précises et riches pour une analyse approfondie.