Classification multilabel avec superposition de graphe d'étiquettes

Les images ou vidéos contiennent toujours plusieurs objets ou actions. La reconnaissance multi-étiquettes a connu des performances remarquables grâce au développement rapide des technologies d’apprentissage profond. Récemment, les réseaux de convolution sur graphe (GCN) ont été exploités pour améliorer les performances de la reconnaissance multi-étiquettes. Toutefois, la meilleure manière de modéliser les corrélations entre étiquettes ainsi que la manière d’améliorer l’apprentissage des caractéristiques en intégrant une conscience du système d’étiquettes restent encore mal comprises. Dans cet article, nous proposons un cadre de superposition de graphe d’étiquettes visant à améliorer le cadre conventionnel GCN+CNN dédié à la reconnaissance multi-étiquettes, selon deux axes principaux. Premièrement, nous modélisons les corrélations entre étiquettes en superposant un graphe d’étiquettes construit à partir d’informations statistiques de co-occurrence à un graphe établi à partir de connaissances a priori sur les étiquettes, puis nous appliquons des convolutions graphiques multi-couches sur le graphe final obtenu afin d’extraire des embeddings d’étiquettes. Deuxièmement, nous proposons d’utiliser l’embedding du système complet d’étiquettes pour une meilleure apprentissage de représentation. Plus précisément, des connexions latérales entre le GCN et le CNN sont introduites aux niveaux superficiels, intermédiaires et profonds, afin d’injecter des informations relatives au système d’étiquettes dans le modèle CNN principal, rendant ainsi l’apprentissage des caractéristiques plus conscient des étiquettes. Des expérimentations étendues ont été menées sur les jeux de données MS-COCO et Charades, démontrant que notre approche améliore considérablement les performances de reconnaissance et atteint un nouveau record d’état de l’art.