Google Landmarks Dataset v2 – Un grand ensemble de données pour le benchmark de la reconnaissance et de la récupération au niveau des instances

Bien que les techniques de récupération d’images et de reconnaissance d’instances progressent rapidement, il existe un besoin croissant de jeux de données exigeants permettant de mesurer avec précision leurs performances, tout en posant de nouveaux défis pertinents pour les applications pratiques. Nous présentons le Google Landmarks Dataset v2 (GLDv2), un nouveau benchmark pour la reconnaissance fine d’instances et la récupération d’images à grande échelle dans le domaine des sites naturels et artificiels. GLDv2 est actuellement le plus grand jeu de données de ce type, avec plus de 5 millions d’images et 200 000 étiquettes d’instances distinctes. Son ensemble de test comprend 118 000 images dotées d’étiquettes de vérité terrain pour les deux tâches de récupération et de reconnaissance. La construction de ces étiquettes a nécessité plus de 800 heures de travail d’annotateurs humains. Notre nouveau jeu de données présente plusieurs caractéristiques exigeantes inspirées d’applications du monde réel, non prises en compte dans les jeux de données précédents : une distribution de classes extrêmement longue en queue, une grande proportion d’images de test hors domaine et une forte variabilité intra-classe. Les images proviennent de Wikimedia Commons, la plus grande collection mondiale de photos de sites patrimoniaux alimentée par le crowdsourcing. Nous fournissons des résultats de base pour les deux tâches de reconnaissance et de récupération, basés sur des méthodes de pointe ainsi que des résultats compétitifs issus d’un défi public. Nous démontrons également la pertinence de ce jeu de données pour le transfert d’apprentissage en montrant que les embeddings d’images entraînés sur GLDv2 atteignent des performances compétitives sur des jeux de données indépendants. Les images du jeu de données, les annotations de vérité terrain et le code d’évaluation sont disponibles à l’adresse suivante : https://github.com/cvdfoundation/google-landmark.