Apprentissage peu supervisé à travers les domaines avec des adaptateurs spécifiques aux tâches

Dans cet article, nous étudions le problème de la classification à faibles exemples dans un cadre multi-domaines, qui vise à apprendre un classificateur à partir de classes et de domaines auparavant inconnus, à partir de très peu d'exemples étiquetés. Les approches récentes résolvent généralement ce problème en paramétrant leurs classificateurs à faibles exemples à l’aide de poids partagés entre les tâches (task-agnostic) et de poids spécifiques à la tâche (task-specific), où les premiers sont typiquement appris sur un grand ensemble d’entraînement, tandis que les seconds sont prédits dynamiquement via un réseau auxiliaire conditionné sur un petit ensemble de support. Dans ce travail, nous nous concentrons sur l’estimation des poids spécifiques à la tâche, et proposons d’apprendre directement ces poids à partir de zéro sur un petit ensemble de support, au lieu de les estimer de manière dynamique. Plus précisément, grâce à une analyse systématique, nous montrons que l’usage de poids spécifiques à la tâche obtenus à l’aide d’adaptateurs paramétriques sous forme matricielle, dotés de connexions résiduelles vers plusieurs couches intermédiaires d’un réseau principal (backbone), permet d’améliorer significativement les performances des modèles de pointe sur le benchmark Meta-Dataset, avec un coût supplémentaire négligeable.