Méta-apprentissage avec l'optimisation convexe différentiable

De nombreuses approches d'apprentissage méta pour l'apprentissage à faible supervision s'appuient sur des apprenants de base simples tels que des classifieurs par plus proches voisins. Cependant, même dans le régime à faible supervision, les prédicteurs linéaires formés de manière discriminante peuvent offrir une meilleure généralisation. Nous proposons d'utiliser ces prédicteurs comme apprenants de base pour apprendre des représentations destinées à l'apprentissage à faible supervision et montrons qu'ils offrent de meilleurs compromis entre la taille des caractéristiques et les performances sur une gamme de benchmarks de reconnaissance à faible supervision. Notre objectif est d'apprendre des plongements de caractéristiques qui généralisent bien sous une règle de classification linéaire pour des catégories inédites. Pour résoudre efficacement cet objectif, nous exploitons deux propriétés des classifieurs linéaires : la différentiation implicite des conditions d'optimalité du problème convexe et la formulation duale du problème d'optimisation. Cela nous permet d'utiliser des plongements de grande dimension avec une amélioration de la généralisation pour un accroissement modéré du coût computationnel. Notre approche, nommée MetaOptNet, atteint des performances de pointe sur les benchmarks d'apprentissage à faible supervision miniImageNet, tieredImageNet, CIFAR-FS et FC100. Notre code est disponible à l'adresse https://github.com/kjunelee/MetaOptNet.