Apprentissage par peu d'exemples comme adaptation de domaine : algorithme et analyse

Pour reconnaître des classes inconnues à partir de très peu d’exemples, l’apprentissage par peu d’exemples (few-shot learning, FSL) repose sur des connaissances préalables apprises à partir des classes observées. Un défi majeur du FSL réside dans le fait que la distribution des classes inconnues diffère de celle des classes vues, ce qui entraîne une généralisation médiocre même lorsque le modèle est métatrainé sur les classes observées. Ce décalage de distribution causé par les différences entre classes peut être considéré comme un cas particulier de décalage de domaine (domain shift). Dans cet article, pour la première fois, nous proposons un réseau prototypique d’adaptation de domaine avec attention (DAPNA) afin de traiter explicitement ce problème de décalage de domaine dans un cadre d’apprentissage métadonnées. Plus précisément, munis d’un module d’attention basé sur le set transformer, nous construisons chaque épisode à partir de deux sous-épisodes sans chevauchement de classes parmi les classes vues, afin de simuler le décalage de domaine entre les classes vues et les classes inconnues. Afin d’aligner les distributions de caractéristiques entre les deux sous-épisodes, en utilisant un nombre limité d’exemples d’entraînement, nous introduisons un réseau de transfert de caractéristiques conjointement avec une fonction de perte de déséquilibre de marge (margin disparity discrepancy, MDD). De manière importante, une analyse théorique est fournie pour établir la borne d’apprentissage de notre méthode DAPNA. Des expériences étendues montrent que DAPNA surpasser les approches de pointe en FSL, souvent de manière significative.