Estimation profonde non supervisée d'homographie sensible au contenu

L’estimation de l’homographie est une méthode fondamentale d’alignement d’images utilisée dans de nombreuses applications. Elle est généralement réalisée en extrayant et en appariant des points d’intérêt épars, une approche sujette à erreur sur des images à faible luminosité ou à faible texture. D’un autre côté, les méthodes profondes précédentes reposent soit sur des images synthétiques pour un apprentissage supervisé, soit sur des images aériennes pour un apprentissage non supervisé, négligeant ainsi l’importance de traiter les disparités de profondeur et les objets en mouvement dans des applications réelles. Pour surmonter ces limitations, nous proposons dans ce travail une méthode non supervisée basée sur le deep learning pour l’estimation d’homographie, accompagnée d’une nouvelle architecture. Inspirés du procédé RANSAC des méthodes classiques, nous apprenons spécifiquement un masque d’outliers afin de ne sélectionner que les régions fiables pour l’estimation de l’homographie. Contrairement aux approches antérieures qui comparent directement le contenu des images, nous calculons la perte à partir de nos caractéristiques profondes apprises. Pour permettre un entraînement non supervisé, nous introduisons également une nouvelle perte en triplet, spécifiquement conçue pour notre réseau. Nous validons notre méthode grâce à des comparaisons approfondies sur un nouveau jeu de données couvrant une large variété de scènes, avec des niveaux de difficulté variables. Les résultats expérimentaux montrent que notre approche surpasser les états de l’art, tant dans les méthodes basées sur le deep learning que dans les méthodes basées sur les caractéristiques.