Apprentissage de la diversité sémantique pour la classification multi-étiquette à zéro-shot

L'entraînement d'un modèle de réseau neuronal pour la reconnaissance de plusieurs étiquettes associées à une image, y compris l'identification d'étiquettes non vues, est un défi, en particulier pour les images qui représentent de nombreuses étiquettes sémantiquement diverses. Bien que cette tâche soit complexe, elle est essentielle à aborder car elle représente de nombreux cas du monde réel, tels que la recherche d'images naturelles. Nous soutenons que l'utilisation d'un seul vecteur d'embedding pour représenter une image, comme c'est couramment pratiqué, n'est pas suffisante pour classer avec précision les étiquettes pertinentes, tant vues qu'invisibles. Cette étude introduit un entraînement de modèle de bout en bout pour l'apprentissage par transfert multi-étiquette qui prend en compte la diversité sémantique des images et des étiquettes. Nous proposons d'utiliser une matrice d'embedding dotée de vecteurs principaux formés à l'aide d'une fonction de perte spécifique. De plus, pendant l'entraînement, nous suggérons d'accorder un poids plus important aux échantillons d'images présentant une diversité sémantique supérieure dans la fonction de perte afin de favoriser la diversité de la matrice d'embedding. Des expériences approfondies montrent que notre méthode proposée améliore la qualité du modèle par apprentissage par transfert dans la recherche d'images basée sur des tags, atteignant des résultats SoTA (State-of-the-Art) sur plusieurs jeux de données courants (NUS-Wide, COCO, Open Images).