Apprentissage contrastif dual sensible au sens pour la classification d'images multi-étiquettes

L’extraction efficace des sémantiques d’image et l’attribution de libellés correspondants à plusieurs objets ou attributs dans les images naturelles constituent un défi en raison de la complexité des scènes et des dépendances ambiguës entre les étiquettes. Les travaux récents se sont concentrés sur la modélisation des relations entre étiquettes à l’aide de graphes et sur la compréhension des régions d’objets à l’aide des cartes d’activation de classe (CAM). Toutefois, ces approches négligent les relations complexes intra- et inter-catégorielles au sein des caractéristiques sémantiques spécifiques, et les CAM sont sujettes à produire des informations bruitées. À cet effet, nous proposons un nouveau cadre d’apprentissage contrastif dual conscient des sémantiques, intégrant à la fois l’apprentissage contrastif échantillon-à-échantillon (SSCL) et l’apprentissage contrastif prototype-à-échantillon (PSCL). Plus précisément, nous exploitons un apprentissage représentatif conscient des sémantiques pour extraire des caractéristiques locales discriminantes liées aux catégories et construire des prototypes catégoriels. Ensuite, grâce au SSCL, les représentations visuelles au niveau des étiquettes de la même catégorie sont regroupées, tandis que les caractéristiques appartenant à des catégories différentes sont séparées. Parallèlement, nous proposons un nouveau module PSCL afin de réduire la distance entre les échantillons positifs et les prototypes catégoriels, tout en éloignant les échantillons négatifs de ces derniers. Enfin, les caractéristiques discriminantes au niveau des étiquettes, liées au contenu de l’image, sont précisément capturées grâce à l’entraînement conjoint des trois composants ci-dessus. Des expériences menées sur cinq jeux de données publics de grande taille et très exigeants démontrent que notre méthode est efficace et surpasser les approches de pointe. Le code source et les documents complémentaires sont disponibles sur https://github.com/yu-gi-oh-leilei/SADCL.