Où dans le monde se trouve cette image ? Localisation géographique basée sur les Transformers dans des conditions réelles

Prédire la localisation géographique (géolocalisation) à partir d'une seule image RGB de niveau terrestre prise n'importe où dans le monde est un problème très complexe. Les défis incluent une grande diversité d'images en raison des différents scénarios environnementaux, des variations drastiques de l'apparence du même lieu selon l'heure de la journée, les conditions météorologiques, la saison, et plus important encore, la prédiction est effectuée à partir d'une seule image qui peut ne contenir que quelques indices de géolocalisation. Pour ces raisons, la plupart des travaux existants sont limités à des villes spécifiques, des images particulières ou des monuments mondialement connus. Dans ce travail, nous nous concentrons sur le développement d'une solution efficace pour la géolocalisation mono-image à l'échelle planétaire. À cette fin, nous proposons TransLocator, un réseau neuronal transformateur à double branche unifié qui porte attention aux petits détails sur l'ensemble de l'image et produit une représentation robuste des caractéristiques malgré les variations extrêmes d'apparence. TransLocator prend en entrée une image RGB et sa carte de segmentation sémantique, interagit entre ses deux branches parallèles après chaque couche de transformateur, et effectue simultanément la géolocalisation et la reconnaissance de scène dans une approche multi-tâches. Nous évaluons TransLocator sur quatre jeux de données de référence - Im2GPS, Im2GPS3k, YFCC4k et YFCC26k - et obtenons une amélioration de 5,5 %, 14,1 %, 4,9 % et 9,9 % en termes de précision au niveau continental par rapport à l'état de l'art. TransLocator a également été validé sur des images de test issues du monde réel et s'est avéré plus efficace que les méthodes précédentes.