Transfert Sémantique Hétérogène pour la Reconnaissance Multi-étiquettes avec Étiquettes Partielles
La reconnaissance d'images multi-étiquettes avec étiquettes partielles (MLR-PL), dans laquelle certaines étiquettes sont connues tandis que d'autres sont inconnues pour chaque image, peut considérablement réduire le coût de l'annotation et ainsi faciliter la reconnaissance d'images multi-étiquettes à grande échelle. Nous avons constaté que des corrélations sémantiques fortes existent à l'intérieur de chaque image et entre différentes images, et que ces corrélations peuvent aider à transférer les connaissances détenues par les étiquettes connues afin de récupérer les étiquettes inconnues, améliorant ainsi les performances de la tâche MLR-PL (voir Figure 1). Dans ce travail, nous proposons un nouveau cadre de transfert sémantique hétérogène (HST) composé de deux modules de transfert complémentaires qui explorent à la fois les corrélations sémantiques intra-images et inter-images pour transférer les connaissances détenues par les étiquettes connues et générer des étiquettes pseudo pour les étiquettes inconnues.Plus précisément, un module de transfert sémantique intra-image (IST) apprend une matrice de co-occurrence d'étiquettes spécifique à chaque image et mappe les étiquettes connues pour compléter les étiquettes inconnues en se basant sur ces matrices. De plus, un module de transfert inter-images (CST) apprend des similarités spécifiques aux catégories entre des prototypes caractéristiques et aide ensuite à compléter les étiquettes inconnues qui présentent un haut degré de similarité avec les prototypes correspondants.Enfin, tant les étiquettes connues que les étiquettes pseudo générées sont utilisées pour entraîner des modèles MLR. Des expériences approfondies menées sur les jeux de données Microsoft COCO, Visual Genome et Pascal VOC 2007 montrent que le cadre HST proposé atteint des performances supérieures à celles des algorithmes actuellement au stade avancé. Plus précisément, il obtient des améliorations moyennes en précision (mAP) respectivement de 1,4 %, 3,3 % et 0,4 % sur ces trois jeux de données par rapport aux résultats du meilleur algorithme précédemment développé.