Apprentissage faible de type fin composant

Nous proposons un nouveau modèle génératif compositionnel pour l’apprentissage zéro- et peu-exemplaire, permettant de reconnaître des classes à granularité fine avec très peu ou aucune donnée d’entraînement. Notre observation clé est que la génération de caractéristiques globales pour les classes à granularité fine échoue à capturer les petites différences d’attributs entre elles. Par conséquent, nous introduisons un cadre de composition de caractéristiques qui apprend à extraire des caractéristiques d’attributs à partir d’échantillons d’entraînement et à les combiner afin de construire des caractéristiques à granularité fine pour les classes rares ou inconnues. La composition de caractéristiques nous permet non seulement de composer de manière sélective les caractéristiques de chaque classe à partir uniquement des échantillons d’entraînement pertinents, mais aussi d’obtenir une diversité parmi les caractéristiques composées en variant les échantillons utilisés pour la composition. En outre, au lieu de construire des caractéristiques globales pour les classes, nous utilisons nos caractéristiques d’attributs pour former des représentations denses capables de capturer les détails fins des attributs des classes. Nous proposons un schéma d’entraînement qui utilise un modèle discriminatif pour construire des caractéristiques, qui sont ensuite réutilisées pour entraîner le modèle lui-même. Ainsi, nous entraînons directement le modèle discriminatif sur les caractéristiques composées, sans avoir à apprendre un modèle génératif distinct. Nous menons des expériences sur quatre jeux de données populaires : DeepFashion, AWA2, CUB et SUN, démontrant ainsi l’efficacité de notre méthode.