RoMa : Correspondance Robuste de Caractéristiques Denses

L'appariement de caractéristiques est une tâche importante en vision par ordinateur qui consiste à estimer les correspondances entre deux images d'une scène 3D, et les méthodes denses estiment toutes ces correspondances. L'objectif est d'apprendre un modèle robuste, c'est-à-dire un modèle capable de s'apparier malgré des changements réels difficiles. Dans ce travail, nous proposons un tel modèle, en exploitant des caractéristiques préentraînées figées du modèle fondamental DINOv2. Bien que ces caractéristiques soient considérablement plus robustes que les caractéristiques locales entraînées à partir de zéro, elles sont intrinsèquement grossières. Nous combinons donc ces caractéristiques avec des caractéristiques fines spécialisées issues de ConvNets, créant ainsi une pyramide de caractéristiques précisément localisable. Pour améliorer encore la robustesse, nous proposons un décodeur d'appariement transformer adapté qui prédit les probabilités d'ancre, ce qui lui permet d'exprimer la multimodalité. Enfin, nous proposons une formulation améliorée de la perte par classification par régression suivie d'une régression robuste. Nous menons une série complète d'expériences qui montrent que notre méthode, RoMa, réalise des gains significatifs et établit un nouveau niveau d'excellence (state-of-the-art). En particulier, nous obtenons une amélioration de 36 % sur le banc d'essai extrêmement difficile WxBS. Le code est disponible à l'adresse https://github.com/Parskatt/RoMa.