Réseaux de correspondance avec consensus de voisinage adaptatif

Dans cet article, nous abordons la tâche de l’établissement de correspondances visuelles denses entre des images contenant des objets de la même catégorie. Il s’agit d’une tâche difficile en raison des grandes variations intra-classe et du manque d’étiquetages denses au niveau des pixels. Nous proposons une architecture de réseau de neurones convolutifs, appelée réseau de consensus de voisinage adaptatif (ANC-Net), pouvant être entraînée de bout en bout à partir d’étiquetages épars de points-clés, afin de relever ce défi. Au cœur d’ANC-Net se trouve notre noyau de convolution 4D non isotrope, qui constitue le bloc de construction du module de consensus de voisinage adaptatif, permettant une correspondance robuste. Nous introduisons également un module simple et efficace de similarité auto-similaire à plusieurs échelles dans ANC-Net, afin de rendre les caractéristiques apprises plus robustes aux variations intra-classe. En outre, nous proposons une nouvelle perte orthogonale, capable d’imposer la contrainte de correspondance un-à-un. Nous évaluons de manière exhaustive l’efficacité de notre méthode sur diverses bases de référence, où elle surpasse de manière significative les méthodes de pointe.