Sample4Geo : Échantillonnage de Négatifs Difficiles pour la Géolocalisation Multivue

La géolocalisation multi-vues reste une tâche complexe où des modules supplémentaires, un prétraitement spécifique ou des stratégies de zoom sont nécessaires pour déterminer les positions précises des images. Étant donné que différentes vues présentent différentes géométries, des techniques de prétraitement comme la transformation polaire aident à les fusionner. Cependant, cela entraîne des images déformées qui doivent ensuite être corrigées. L'ajout de négatifs difficiles au lot d'entraînement pourrait améliorer les performances globales, mais avec les fonctions de perte par défaut en géolocalisation, il est difficile de les inclure. Dans cet article, nous présentons une architecture simplifiée mais efficace basée sur l'apprentissage contrastif avec une perte InfoNCE symétrique qui surpasse les résultats actuels de l'état de l'art. Notre cadre comprend une chaîne d'entraînement étroite qui élimine le besoin d'utiliser des modules d'agrégation, évite des étapes supplémentaires de prétraitement et augmente même la capacité de généralisation du modèle à des régions inconnues. Nous introduisons deux types de stratégies d'échantillonnage pour les négatifs difficiles. La première exploite explicitement les emplacements géographiquement voisins pour fournir un bon point de départ. La seconde utilise la similarité visuelle entre les plongements d'images afin d'extraction des échantillons négatifs difficiles. Nos travaux montrent d'excellentes performances sur des ensembles de données multi-vues courants comme CVUSA, CVACT, University-1652 et VIGOR. Une comparaison entre les configurations inter-régionales et intra-régionales démontre la bonne capacité de généralisation de notre modèle.