L'apprentissage avec des données limitées est un défi majeur pour la reconnaissance visuelle. De nombreuses méthodes d'apprentissage à partir de quelques exemples répondent à ce défi en apprenant une fonction d'embedding d'instances à partir de classes observées et en appliquant cette fonction à des instances de classes non observées avec des étiquettes limitées. Ce type d'apprentissage par transfert est agnostique en termes de tâche : la fonction d'embedding n'est pas apprise de manière optimalement discriminante par rapport aux classes non observées, où distinguer entre elles conduit à la tâche cible. Dans cet article, nous proposons une nouvelle approche pour adapter les embeddings d'instances à la tâche de classification cible grâce à une fonction ensemble-à-ensemble, produisant ainsi des embeddings spécifiques à la tâche et discriminants. Nous avons empiriquement examiné diversesinstanciations de telles fonctions ensemble-à-ensemble et constaté que le Transformer est le plus efficace -- car il satisfait naturellement les propriétés clés du modèle souhaité. Nous désignons ce modèle par FEAT (adaptation d'embedding à partir de quelques exemples avec Transformer) et le validons sur le banc d'essai standard d'apprentissage à partir de quelques exemples, ainsi que sur quatre configurations étendues d'apprentissage à partir de quelques exemples avec des cas d'utilisation essentiels, soit l'apprentissage inter-domaine, l'apprentissage transductif, l'apprentissage généralisé à partir de quelques exemples et l'apprentissage basé sur peu d'exemples. Il a obtenu des améliorations constantes par rapport aux modèles de base ainsi qu'aux méthodes précédentes et établi les nouveaux résultats de pointe sur deux bancs d'essai.