Apprentissage de corrélation basé sur la propagation de graphes pour la classification d’images à granularité fine supervisée faiblement

La clé de la classification d’images fine-grained avec une supervision faible (WFGIC) réside dans la manière de sélectionner les régions discriminantes et d’apprendre les caractéristiques discriminantes à partir d’elles. Toutefois, la plupart des méthodes récentes de WFGIC sélectionnent indépendamment les régions discriminantes et exploitent directement leurs caractéristiques, tout en négligeant le fait que les caractéristiques des régions sont mutuellement corrélées sémantiquement, et que des groupes de régions peuvent être plus discriminants. Pour résoudre ces limitations, nous proposons un modèle d’apprentissage par corrélation basé sur la propagation de graphe (GCL), entièrement end-to-end, afin d’exploiter pleinement le potentiel discriminant des corrélations entre régions pour la WFGIC. Plus précisément, dans la phase de localisation des régions discriminantes, nous introduisons un sous-réseau de propagation de graphe en croix (CGP), conçu pour apprendre les corrélations entre régions : ce sous-réseau établit des liens de corrélation entre les régions et améliore chaque région en agrégeant de manière pondérée les autres régions selon une structure en croix. Grâce à cette approche, la représentation de chaque région encode simultanément le contexte global au niveau de l’image et le contexte spatial local, guidant ainsi implicitement le réseau vers la découverte de groupes de régions discriminantes plus puissants pour la WFGIC. Dans la phase de représentation des caractéristiques discriminantes, nous proposons un sous-réseau d’affinement des caractéristiques par corrélation (CFS), qui explore les corrélations sémantiques internes entre les vecteurs de caractéristiques des patches discriminants, renforçant ainsi leur pouvoir discriminant en améliorant itérativement les éléments informatifs tout en supprimant les éléments inutiles. Des expériences étendues démontrent l’efficacité des sous-réseaux CGP et CFS proposés, et montrent que le modèle GCL atteint des performances supérieures en termes de précision et d’efficacité.