Étiquetage d'images rapide sans exemple préalable

Les expériences de analogie de mots bien connues montrent que les vecteurs de mots récents capturent des régularités linguistiques fines dans les mots par des décalages vectoriels linéaires, mais il n'est pas clair dans quelle mesure ces simples décalages vectoriels peuvent encoder des régularités visuelles sur les mots. Dans cet article, nous étudions une relation particulière entre les images et les mots. Nos résultats montrent que les vecteurs de mots des étiquettes pertinentes pour une image donnée sont classés avant ceux des étiquettes non pertinentes, le long d'une direction principale dans l'espace des vecteurs de mots. Inspirés par cette observation, nous proposons de résoudre le problème d'étiquetage d'images en estimant la direction principale pour une image. Plus précisément, nous utilisons des mappages linéaires et des réseaux neuronaux profonds non linéaires pour approximer la direction principale à partir d'une image d'entrée. Nous aboutissons ainsi à un modèle d'étiquetage très polyvalent. Il s'exécute rapidement lorsqu'on lui fournit une image de test, en temps constant par rapport à la taille du jeu d'entraînement. Non seulement il offre des performances supérieures pour la tâche traditionnelle d'étiquetage sur le jeu de données NUS-WIDE, mais il surpass également les méthodes de référence compétitives pour l'annotation d'images avec des étiquettes jamais vues auparavant.