Aggrégation de caractéristiques sensible à l’espace pour la géolocalisation croisée basée sur l’image

Dans cet article, nous développons un nouveau réseau profond afin de traiter explicitement les différences intrinsèques entre les vues au sol et aériennes. Nous observons qu’il existe des correspondances approximatives entre les images au sol et aériennes. Plus précisément, les pixels situés dans la même direction azimutale dans une image aérienne correspondent approximativement à une colonne verticale dans l’image vue au sol. Ainsi, nous proposons une approche en deux étapes exploitant cette connaissance a priori. La première étape consiste à appliquer une transformation polaire régulière afin de déformer une image aérienne de manière à rapprocher son domaine de celui d’un panorama vu au sol. Notons que la transformation polaire, étant une transformation géométrique pure, est indépendante du contenu scénique et ne peut donc pas assurer un alignement parfait entre les deux domaines. Ensuite, nous introduisons un mécanisme d’attention spatiale qui rapproche davantage, dans l’espace d’embedding, les caractéristiques profondes correspondantes. Pour améliorer la robustesse de la représentation des caractéristiques, nous proposons une stratégie d’agrégation des caractéristiques fondée sur l’apprentissage de plusieurs embeddings spatiaux. Grâce à cette approche en deux étapes, nous obtenons des représentations profondes plus discriminantes, ce qui permet une géolocalisation croisée plus précise. Nos expériences sur des jeux de données standard montrent une amélioration significative des performances, avec un taux de rappel plus que doublé par rapport à l’état de l’art précédent.