AmsterTime : Un jeu de données de référence pour la reconnaissance visuelle de lieux soumis à un décalage de domaine sévère

Nous introduisons AmsterTime : un jeu de données exigeant destiné à évaluer la reconnaissance de lieu visuel (VPR) en présence d’un décalage de domaine important. AmsterTime propose une collection de 2 500 images soigneusement sélectionnées, représentant la même scène sous deux formes : une vue de rue contemporaine associée à des images historiques provenant d’un fonds d’archives de la ville d’Amsterdam. Les paires d’images captent le même lieu avec des caméras, des points de vue et des apparences différentes. Contrairement aux jeux de données existants, AmsterTime a été directement collecté par le biais d’une plateforme de navigation SIG (Mapillary). Nous évaluons diverses méthodes de référence, incluant des approches non supervisées, supervisées et auto-supervisées, pré-entraînées sur différentes bases de données pertinentes, pour les tâches de vérification et de recherche. Nos résultats montrent que le modèle ResNet-101 pré-entraîné sur le jeu de données Landmarks atteint la meilleure précision, avec 84 % pour la tâche de vérification et 24 % pour la tâche de recherche. En outre, un sous-ensemble des principaux monuments d’Amsterdam a été recueilli afin d’évaluer les caractéristiques dans une tâche de classification. Les étiquettes de classification sont ensuite utilisées pour extraire des explications visuelles via Grad-CAM, permettant une inspection des régions visuelles apprises similaires dans les modèles de métrique d’apprentissage profond.