TAFE-Net : Embeddings de caractéristiques sensibles aux tâches pour l'apprentissage à faible tirage

L'apprentissage de bonnes représentations de caractéristiques pour les images nécessite souvent des données d'entraînement considérables. Par conséquent, dans les configurations où les données d'entraînement sont limitées (par exemple, l'apprentissage à partir de quelques exemples et l'apprentissage sans exemple), nous sommes généralement contraints d'utiliser une représentation de caractéristiques générique pour diverses tâches. Idéalement, nous souhaitons construire des représentations de caractéristiques qui soient ajustées à la tâche donnée. Dans ce travail, nous proposons des Réseaux de Représentations de Caractéristiques Conscients des Tâches (TAFE-Nets) pour apprendre comment adapter la représentation d'image à une nouvelle tâche selon une approche d'apprentissage par méta-apprentissage. Notre réseau est composé d'un méta-apprenant et d'un réseau de prédiction. Sur la base d'une entrée de tâche, le méta-apprenant génère les paramètres des couches de caractéristiques dans le réseau de prédiction afin que la représentation de caractéristiques puisse être précisément ajustée à cette tâche. Nous montrons que TAFE-Net est très efficace pour généraliser à de nouvelles tâches ou concepts et évaluons TAFE-Net sur un ensemble de benchmarks en apprentissage sans exemple et en apprentissage à partir de quelques exemples. Notre modèle correspond ou dépasse l'état de l'art sur toutes les tâches. En particulier, notre approche améliore la précision prédictive des paires attribut-objet non vues de 4 à 15 points sur la tâche complexe de composition visuelle d'attributs et d'objets.