Réseaux d'interaction de canal pour la catégorisation d'images à granularité fine

La catégorisation d’images à granularité fine est un défi en raison des différences subtiles entre les classes. Nous proposons que l’exploitation des relations riches entre les canaux puisse aider à capturer ces différences, puisque différents canaux correspondent à des sémantiques distinctes. Dans cet article, nous introduisons un réseau d’interaction entre canaux (CIN), qui modélise les interactions entre canaux à la fois à l’intérieur d’une même image et entre images. Pour une image unique, nous proposons un module d’interaction auto-canal (SCI) afin d’explorer les corrélations entre canaux au sein de l’image. Cela permet au modèle d’apprendre des caractéristiques complémentaires issues des canaux corrélés, produisant ainsi des représentations fine-grained plus puissantes. En outre, pour une paire d’images, nous introduisons un module d’interaction canal-contrastive (CCI) qui modélise l’interaction entre canaux à travers des échantillons à l’aide d’un cadre d’apprentissage par métrique, permettant au CIN de distinguer les différences visuelles subtiles entre images. Notre modèle peut être entraîné de manière efficace de façon end-to-end, sans nécessiter d’entraînement ou de test en plusieurs étapes. Enfin, des expériences approfondies ont été menées sur trois benchmarks publics, où la méthode proposée surpasse de manière cohérente les approches de pointe, telles que DFL-CNN (Wang, Morariu et Davis, 2018) et NTS (Yang et al., 2018).