Apprentissage discriminatif de descripteurs de points caractéristiques à convolution profonde

L’apprentissage profond a révolutionné les tâches au niveau des images, telles que la classification, mais les tâches au niveau des patches, comme l’établissement de correspondances, reposent encore sur des caractéristiques conçues manuellement, par exemple SIFT. Dans cet article, nous utilisons des réseaux de neurones convolutifs (CNN) pour apprendre des représentations discriminantes de patches, et plus particulièrement entraînons un réseau siamois à partir de paires de patches correspondants ou non correspondants. Pour faire face au grand nombre de paires potentielles, nous combinons un échantillonnage stochastique de l’ensemble d’entraînement avec une stratégie agressive d’extraction de paires, orientée vers les patches difficiles à classifier. En utilisant la distance L2 aussi bien pendant l’entraînement que pendant le test, nous développons des descripteurs 128-D dont les distances euclidiennes reflètent la similarité entre patches, et qui peuvent servir de substitut direct pour toute tâche utilisant SIFT. Nous démontrons des gains de performance constants par rapport à l’état de l’art, ainsi qu’une bonne généralisation face aux changements d’échelle, aux rotations, aux transformations perspectives, aux déformations non rigides et aux variations d’éclairage. Nos descripteurs sont efficaces à calculer et adaptés aux GPU modernes, et sont disponibles publiquement.