Réseaux de Génération de Caractéristiques pour l'Apprentissage sans Exemple

Souffrant d'un déséquilibre extrême des données d'entraînement entre les classes vues et non vues, la plupart des approches actuelles de pointe échouent à obtenir des résultats satisfaisants pour la tâche difficile d'apprentissage par zéro-shot généralisé. Pour éviter la nécessité d'exemples étiquetés de classes non vues, nous proposons un nouveau réseau de neurones génératif adversarial (GAN) qui synthétise des caractéristiques CNN conditionnées par des informations sémantiques au niveau de la classe, offrant ainsi un raccourci direct d'un descripteur sémantique d'une classe à une distribution de caractéristiques conditionnelle à cette classe. Notre approche proposée, qui associe un WGAN (Wasserstein GAN) à une perte de classification, est capable de générer des caractéristiques CNN suffisamment discriminantes pour entraîner des classifieurs softmax ou toute méthode d'embedding multimodal. Nos résultats expérimentaux montrent une amélioration significative de la précision par rapport à l'état de l'art sur cinq ensembles de données difficiles -- CUB, FLO, SUN, AWA et ImageNet -- dans les cadres d'apprentissage par zéro-shot et d'apprentissage par zéro-shot généralisé.