Réseau de Prototypes d'Attributs pour l'Apprentissage en Tous Cas

La classification d'images à tout moment (any-shot) permet de reconnaître de nouvelles classes avec seulement quelques échantillons, voire aucun. Pour la tâche d'apprentissage à zéro exemple (zero-shot learning), les attributs visuels ont été démontrés comme jouant un rôle crucial, tandis que dans le régime de l'apprentissage à peu d'exemples (few-shot), l'effet des attributs est moins exploré. Nous soutenons que pour améliorer le transfert des connaissances basées sur les attributs des classes vues vers les classes non vues, une représentation d'image intégrant la capacité de localisation des attributs serait bénéfique pour les tâches de classification d'images à tout moment, c'est-à-dire à zéro exemple et à peu d'exemples.Dans ce but, nous proposons un nouveau cadre d'apprentissage de représentations qui apprend conjointement des caractéristiques globales et locales discriminantes en utilisant uniquement des attributs au niveau des classes. Tandis qu'une couche d'embedding visuel-sémantique apprend les caractéristiques globales, les caractéristiques locales sont acquises par un réseau de prototypes d'attributs qui régresse et dés corrèle simultanément les attributs à partir des caractéristiques intermédiaires. De plus, nous introduisons un module de zoom qui localise et découpe les régions informatives afin d'encourager le réseau à apprendre explicitement des caractéristiques pertinentes.Nous montrons que nos représentations d'images enrichies par la localité atteignent un nouvel état de l'art sur des benchmarks difficiles, notamment CUB, AWA2 et SUN. En outre, notre modèle indique les preuves visuelles des attributs dans une image, confirmant ainsi l'amélioration de la capacité de localisation des attributs de notre représentation d'image. La localisation des attributs est évaluée quantitativement avec des annotations de parties véritables (ground truth part annotations), qualitativement par des visualisations et grâce à des études utilisateur bien conçues.