Intégration d'étiquettes pour la classification d'images

Les attributs agissent comme des représentations intermédiaires qui permettent le partage de paramètres entre les classes, une nécessité lorsque les données d'entraînement sont rares. Nous proposons de considérer la classification d'images basée sur les attributs comme un problème d'incrustation de labels (label-embedding) : chaque classe est incrustée dans l'espace des vecteurs d'attributs. Nous introduisons une fonction qui mesure la compatibilité entre une image et une incrustation de label. Les paramètres de cette fonction sont appris sur un ensemble d'entraînement composé d'échantillons étiquetés afin de garantir que, pour une image donnée, les classes correctes soient mieux classées que les classes incorrectes. Les résultats sur les ensembles de données Animals With Attributes et Caltech-UCSD-Birds montrent que le cadre proposé surpasses la méthode de prédiction directe des attributs (Direct Attribute Prediction) dans un scénario d'apprentissage à zéro tirage (zero-shot learning). L'incrustation de labels bénéficie d'une capacité intégrée à exploiter des sources alternatives d'information, en remplacement ou en complément des attributs, telles que par exemple des hiérarchies de classes ou des descriptions textuelles. De plus, l'incrustation de labels englobe l'ensemble des configurations d'apprentissage, du apprentissage à zéro tirage (zero-shot learning) à l'apprentissage régulier avec un grand nombre d'exemples étiquetés.