L’apprentissage métadans un cadre sans mémoire

La capacité à apprendre de nouveaux concepts à partir de petites quantités de données constitue un aspect fondamental de l’intelligence, qui s’est révélé difficile à réaliser avec les méthodes d’apprentissage profond. L’apprentissage méta (meta-learning) est apparu comme une technique prometteuse permettant de tirer parti des données issues de tâches antérieures afin d’assurer un apprentissage efficace de nouvelles tâches. Toutefois, la plupart des algorithmes d’apprentissage méta supposent implicitement que les tâches utilisées pendant l’entraînement méta soient mutuellement exclusives, c’est-à-dire qu’aucun modèle ne puisse résoudre toutes les tâches simultanément. Par exemple, lors de la conception de tâches pour la classification d’images à faible exemplaire (few-shot), les travaux antérieurs attribuent aléatoirement les classes d’images aux étiquettes de classification à N voies. Si cette procédure n’est pas suivie, l’apprenant méta peut ignorer les données d’entraînement des tâches et apprendre un seul modèle capable de résoudre toutes les tâches d’entraînement méta sans aucune donnée (zero-shot), sans toutefois s’adapter efficacement à de nouvelles classes d’images. Cette contrainte impose au utilisateur une grande prudence dans la conception des tâches, par exemple en mélangeant aléatoirement les étiquettes ou en supprimant toute information identifiant la tâche des entrées. Dans certains domaines, cette exigence rend l’apprentissage méta entièrement inapplicable. Dans cet article, nous relevons ce défi en proposant une nouvelle fonction objective de régularisation méta fondée sur la théorie de l’information, qui privilégie l’adaptation guidée par les données. Cela incite l’apprenant méta à déterminer ce qu’il doit apprendre à partir des données d’entraînement de la tâche et ce qu’il doit inférer à partir des entrées de test de la tâche. Grâce à cette approche, notre algorithme parvient à exploiter efficacement des données provenant de tâches non mutuellement exclusives pour s’adapter à de nouvelles tâches. Nous démontrons sa pertinence pour des algorithmes d’apprentissage méta contextuels ainsi que pour des algorithmes basés sur les gradients, et nous l’appliquons dans des contextes pratiques où l’application standard de l’apprentissage méta s’avère difficile. Notre méthode surpasse de manière significative les algorithmes classiques d’apprentissage méta dans ces situations.