Deep Matching Prior : Optimisation au Moment du Test pour la Correspondance Dense

Les techniques conventionnelles pour établir des correspondances denses entre des images visuellement ou sémantiquement similaires se concentraient sur la conception d'un modèle de correspondance spécifique à la tâche, ce qui est difficile à modéliser. Pour surmonter cette difficulté, les méthodes récentes basées sur l'apprentissage ont tenté d'apprendre un bon modèle de correspondance au sein même du modèle, en utilisant de grandes quantités de données d'entraînement. L'amélioration des performances était évidente, mais le besoin de données d'entraînement suffisantes et l'apprentissage intensif limitent leur applicabilité. De plus, l'utilisation d'un modèle fixe lors des tests ne prend pas en compte le fait qu'un couple d'images peut nécessiter son propre modèle de correspondance, ce qui entraîne des performances limitées et une mauvaise généralisation aux images inconnues.Dans cet article, nous montrons qu'un modèle de correspondance spécifique à chaque couple d'images peut être capturé en optimisant uniquement les réseaux non entraînés sur un couple d'images en entrée. Adapté à cette optimisation lors des tests pour les correspondances denses, nous présentons un réseau de correspondance résiduel et une perte contrastive prenant en compte la confiance pour garantir une convergence significative. Les expériences démontrent que notre cadre, baptisé Deep Matching Prior (DMP), est compétitif, voire surpassant les dernières méthodes basées sur l'apprentissage sur plusieurs benchmarks pour le matching géométrique et sémantique, bien qu'il n'exige ni de grandes quantités de données d'entraînement ni un apprentissage intensif. Avec des réseaux pré-entraînés, DMP atteint des performances de pointe sur tous les benchmarks.