Modèle d'attention sensible aux attributs pour l'apprentissage de représentations fines

Comment apprendre une représentation fine et discriminante est un point clé dans de nombreuses applications en vision par ordinateur, telles que la ré-identification des personnes, la classification fine-grainée, la recherche d'images fine-grainée, etc. La plupart des méthodes précédentes se concentrent sur l'apprentissage de métriques ou d'ensembles pour obtenir une meilleure représentation globale, qui manquent généralement d'informations locales. En tenant compte des considérations ci-dessus, nous proposons un nouveau modèle d'attention sensible aux attributs (Attribute-Aware Attention Model, $A^3M$), capable d'apprendre simultanément une représentation locale des attributs et une représentation globale des catégories de manière end-to-end. Le modèle proposé comprend deux modules d'attention : le module d'attention guidé par les attributs utilise les informations sur les attributs pour aider à sélectionner les caractéristiques de catégorie dans différentes régions, tandis que le module d'attention guidé par les catégories sélectionne les caractéristiques locales de différents attributs grâce aux indices de catégorie. Grâce à ce processus réciproque entre les attributs et les catégories, les caractéristiques locales et globales s'enrichissent mutuellement. Enfin, la caractéristique résultante contient plus d'informations intrinsèques pour la reconnaissance d'images plutôt que des caractéristiques bruyantes et non pertinentes. De nombreuses expériences menées sur Market-1501, CompCars, CUB-200-2011 et CARS196 démontrent l'efficacité de notre $A^3M$. Le code source est disponible à l'adresse suivante : https://github.com/iamhankai/attribute-aware-attention.