Apprentissage métadonné basé sur un modèle probabiliste agnostique

L'apprentissage méta pour l'apprentissage à faibles tirs implique l'acquisition d'une distribution a priori sur des tâches et des expériences antérieures, de manière à ce que de nouvelles tâches puissent être apprises à partir de petits ensembles de données. Cependant, un défi critique dans l'apprentissage à faibles tirs est l'ambiguïté des tâches : même lorsque des a priori puissants peuvent être acquis par apprentissage méta à partir d'un grand nombre de tâches précédentes, un petit ensemble de données pour une nouvelle tâche peut simplement être trop ambigu pour acquérir un seul modèle (par exemple, un classifieur) pour cette tâche qui soit précis.Dans cet article, nous proposons un algorithme d'apprentissage méta probabiliste capable de générer des échantillons de modèles pour une nouvelle tâche à partir d'une distribution de modèles. Notre approche étend l'apprentissage méta agnostique aux modèles, qui s'adapte aux nouvelles tâches par descente de gradient, en intégrant une distribution des paramètres formée par une borne inférieure variationnelle. Au moment du test méta, notre algorithme s'adapte grâce à une procédure simple qui introduit du bruit dans la descente de gradient ; au moment de l'entraînement méta, le modèle est entraîné de manière à ce que cette procédure d'adaptation stochastique produise des échantillons issus de la distribution postérieure approximative du modèle.Nos résultats expérimentaux montrent que notre méthode peut générer des classifieurs et des régresseurs plausibles dans des problèmes d'apprentissage à faibles tirs ambigus. Nous montrons également comment la prise en compte de l'ambiguïté peut être utilisée pour les problèmes d'apprentissage actif en aval.