Classifieurs synthétisés pour l'apprentissage sans exemple

Étant donné des descriptions sémantiques de classes d'objets, l'apprentissage par zéro-shot vise à reconnaître avec précision les objets appartenant à des classes non vues, pour lesquelles aucun exemple n'est disponible lors de la phase d'entraînement, en les associant aux classes vues, pour lesquelles des exemples étiquetés sont fournis. Nous proposons d'aborder ce problème sous l'angle de l'apprentissage sur variété (manifold learning). Notre idée principale est d'aligner l'espace sémantique dérivé de l'information externe avec l'espace du modèle qui se concentre sur la reconnaissance des caractéristiques visuelles. À cette fin, nous introduisons un ensemble de classes d'objets « fantômes » dont les coordonnées existent dans les deux espaces : l'espace sémantique et l'espace du modèle. En servant de bases dans un dictionnaire, elles peuvent être optimisées à partir de données étiquetées afin que les classifieurs d'objets réels synthétisés atteignent une performance discriminante optimale. Nous démontrons la supériorité de notre approche en termes de précision par rapport à l'état de l'art sur quatre jeux de données de référence pour l'apprentissage par zéro-shot, y compris le jeu complet ImageNet Fall 2011 comprenant plus de 20 000 classes non vues.