HyperAIHyperAI

Command Palette

Search for a command to run...

Transfert Sémantique Hétérogène pour la Reconnaissance Multi-étiquettes avec Étiquettes Partielles

Tianshui Chen Tao Pu Lingbo Liu Yukai Shi Zhijing Yang Liang Lin

Résumé

La reconnaissance d'images multi-étiquettes avec étiquettes partielles (MLR-PL), dans laquelle certaines étiquettes sont connues tandis que d'autres sont inconnues pour chaque image, peut considérablement réduire le coût de l'annotation et ainsi faciliter la reconnaissance d'images multi-étiquettes à grande échelle. Nous avons constaté que des corrélations sémantiques fortes existent à l'intérieur de chaque image et entre différentes images, et que ces corrélations peuvent aider à transférer les connaissances détenues par les étiquettes connues afin de récupérer les étiquettes inconnues, améliorant ainsi les performances de la tâche MLR-PL (voir Figure 1). Dans ce travail, nous proposons un nouveau cadre de transfert sémantique hétérogène (HST) composé de deux modules de transfert complémentaires qui explorent à la fois les corrélations sémantiques intra-images et inter-images pour transférer les connaissances détenues par les étiquettes connues et générer des étiquettes pseudo pour les étiquettes inconnues.Plus précisément, un module de transfert sémantique intra-image (IST) apprend une matrice de co-occurrence d'étiquettes spécifique à chaque image et mappe les étiquettes connues pour compléter les étiquettes inconnues en se basant sur ces matrices. De plus, un module de transfert inter-images (CST) apprend des similarités spécifiques aux catégories entre des prototypes caractéristiques et aide ensuite à compléter les étiquettes inconnues qui présentent un haut degré de similarité avec les prototypes correspondants.Enfin, tant les étiquettes connues que les étiquettes pseudo générées sont utilisées pour entraîner des modèles MLR. Des expériences approfondies menées sur les jeux de données Microsoft COCO, Visual Genome et Pascal VOC 2007 montrent que le cadre HST proposé atteint des performances supérieures à celles des algorithmes actuellement au stade avancé. Plus précisément, il obtient des améliorations moyennes en précision (mAP) respectivement de 1,4 %, 3,3 % et 0,4 % sur ces trois jeux de données par rapport aux résultats du meilleur algorithme précédemment développé.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp