Apprentissage de super-features pour la recherche d'images

Les méthodes combinant des caractéristiques locales et globales ont récemment démontré des performances remarquables sur plusieurs benchmarks exigeants de recherche d’images profondes, mais leur utilisation de caractéristiques locales soulève au moins deux problèmes. Premièrement, ces caractéristiques locales se réduisent simplement aux activations localisées d’une carte de réseau neuronal, ce qui peut entraîner une redondance extrême. Deuxièmement, elles sont généralement entraînées avec une perte globale qui agit uniquement sur une agrégation des caractéristiques locales ; en revanche, le test repose sur un matching local des caractéristiques, ce qui crée un désalignement entre l’entraînement et le test. Dans cet article, nous proposons une nouvelle architecture pour la recherche d’images profondes, fondée exclusivement sur des caractéristiques de niveau intermédiaire que nous appelons Super-caractéristiques. Ces Super-caractéristiques sont construites à l’aide d’un module itératif d’attention et forment un ensemble ordonné dans lequel chaque élément se concentre sur un motif image localisé et discriminant. Pour l’entraînement, elles nécessitent uniquement des étiquettes d’image. Une perte contrastive opère directement au niveau des Super-caractéristiques et se concentre sur celles qui correspondent entre images. Une seconde perte complémentaire encourage la diversité. Des expériences sur des benchmarks courants de recherche d’indices mondiaux confirment que les Super-caractéristiques surpassent significativement les méthodes de pointe lorsqu’elles utilisent le même nombre de caractéristiques, tout en nécessitant une empreinte mémoire nettement plus faible pour atteindre des performances comparables. Le code et les modèles sont disponibles à l’adresse : https://github.com/naver/FIRe.