Récupération d'images à grande échelle avec des caractéristiques locales profondes attentives

Nous proposons un descripteur de caractéristiques locales attentif adapté à la recherche d'images à grande échelle, dénommé DELF (DEep Local Feature). Cette nouvelle caractéristique est basée sur des réseaux neuronaux convolutifs, qui sont formés uniquement avec des annotations au niveau de l'image sur un ensemble de données d'images de monuments. Pour identifier les caractéristiques locales sémantiquement utiles pour la recherche d'images, nous proposons également un mécanisme d'attention pour la sélection des points clés, qui partage la plupart des couches du réseau avec le descripteur. Ce cadre peut être utilisé pour la recherche d'images comme une alternative directe à d'autres détecteurs et descripteurs de points clés, permettant un appariement de caractéristiques plus précis et une vérification géométrique améliorée. Notre système génère des scores de confiance fiables pour rejeter les faux positifs---en particulier, il est robuste face aux requêtes qui n'ont pas de correspondance correcte dans la base de données. Pour évaluer le descripteur proposé, nous introduisons un nouveau jeu de données à grande échelle, dénommé Google-Landmarks dataset, qui présente des défis tant dans la base de données que dans les requêtes, tels que le désordre du fond, l'occlusion partielle, plusieurs monuments, des objets à différentes échelles, etc. Nous montrons que DELF surpass les meilleurs descripteurs globaux et locaux actuels dans le contexte à grande échelle avec une marge significative. Le code source et le jeu de données peuvent être trouvés sur la page web du projet : https://github.com/tensorflow/models/tree/master/research/delf .