Réseaux de Consensus de Voisinage

Nous abordons le problème de la recherche de correspondances denses fiables entre une paire d'images. Cette tâche est particulièrement ardue en raison des fortes différences d'apparence entre les éléments de scène correspondants et des ambiguïtés générées par les motifs répétitifs. Les contributions de ce travail sont triples. Premièrement, inspirés par l'idée classique de lever les ambiguïtés des correspondances de caractéristiques en utilisant des contraintes semi-locales, nous développons une architecture de réseau neuronal convolutif entièrement apprenable qui identifie des ensembles de correspondances spatialement cohérentes en analysant les schémas de consensus locaux dans l'espace 4D de toutes les possibles correspondances entre une paire d'images, sans nécessiter un modèle géométrique global. Deuxièmement, nous démontrons que le modèle peut être entraîné efficacement à partir d'une supervision faible sous forme de paires d'images correspondantes et non correspondantes, sans avoir besoin d'une annotation manuelle coûteuse des correspondances point à point. Troisièmement, nous montrons que le réseau de consensus local proposé peut être appliqué à une gamme de tâches de mise en correspondance, y compris au niveau catégoriel et au niveau instanciel, obtenant des résultats à l'état de l'art sur l'ensemble de données PF Pascal et le benchmark InLoc pour la localisation visuelle intérieure.