Apprentissage et agrégation de descripteurs locaux profonds pour la reconnaissance au niveau de l'instance

Nous proposons une méthode efficace pour apprendre des descripteurs locaux profonds destinés à la reconnaissance au niveau des instances. L'entraînement ne nécessite que des paires d'images positives et négatives, et se fait sous la forme d'un apprentissage métrique sur des descripteurs globaux d'images obtenus par sommation (sum-pooling). En inférence, les descripteurs locaux sont fournis par les activations des composants internes du réseau. Nous démontrons pourquoi cette approche permet d'apprendre des descripteurs locaux efficaces pour l'estimation de la similarité entre images, notamment lorsqu'elle est combinée à des méthodes classiques de correspondance efficaces basées sur des noyaux. Une étude expérimentale analyse le compromis entre performance et contraintes mémoire de l'état de l'art des méthodes de recherche d'images basées sur des noyaux de correspondance. Par rapport aux descripteurs locaux existants, les descripteurs proposés obtiennent de meilleures performances sur deux tâches de reconnaissance au niveau des instances, tout en maintenant des exigences mémoire plus faibles. Nous montrons expérimentalement que les descripteurs globaux ne sont pas suffisamment efficaces à grande échelle, et que les descripteurs locaux s'avèrent essentiels. Nous atteignons des performances de pointe, parfois même avec un réseau de base aussi petit que ResNet18.