Transfert Sémantique Structuré pour la Reconnaissance Multi-Étiquettes avec Étiquettes Partielles

La reconnaissance d'images à étiquettes multiples est une tâche fondamentale et pratique, car les images du monde réel possèdent naturellement plusieurs étiquettes sémantiques. Cependant, il est difficile de collecter des annotations à étiquettes multiples à grande échelle en raison de la complexité des images d'entrée et des espaces d'étiquettes de sortie. Pour réduire le coût des annotations, nous proposons un cadre de transfert sémantique structuré (SST) qui permet l'entraînement de modèles de reconnaissance à étiquettes multiples avec des étiquettes partielles, c'est-à-dire que seules certaines étiquettes sont connues tandis que d'autres sont manquantes (également appelées étiquettes inconnues) par image. Ce cadre comprend deux modules de transfert complémentaires qui explorent les corrélations sémantiques intra-images et inter-images pour transférer les connaissances des étiquettes connues afin de générer des étiquettes pseudo pour les étiquettes inconnues. Plus précisément, un module de transfert sémantique intra-image apprend une matrice de co-occurrence spécifique aux images et mappe les étiquettes connues pour compléter les étiquettes inconnues en fonction de cette matrice. Parallèlement, un module de transfert inter-images apprend des similarités spécifiques aux catégories entre les caractéristiques et aide à compléter les étiquettes inconnues avec des similarités élevées. Enfin, tant les étiquettes connues que celles générées sont utilisées pour entraîner les modèles de reconnaissance à étiquettes multiples. Des expériences approfondies sur les jeux de données Microsoft COCO, Visual Genome et Pascal VOC montrent que le cadre SST proposé obtient des performances supérieures aux algorithmes actuels de pointe. Les codes sources sont disponibles à l'adresse suivante : https://github.com/HCPLab-SYSU/HCP-MLR-PL.