Apprentissage non supervisé par méta-apprentissage

Un objectif central de l'apprentissage non supervisé est d'acquérir des représentations à partir de données non étiquetées ou d'expériences qui peuvent être utilisées pour un apprentissage plus efficace de tâches en aval à partir de quantités modestes de données étiquetées. De nombreuses œuvres antérieures en apprentissage non supervisé visent à le faire en développant des objectifs intermédiaires basés sur la reconstruction, la désentrelacement (disentanglement), la prédiction et d'autres métriques. À la place, nous développons une méthode d'apprentissage métadidactique non supervisée qui optimise explicitement la capacité d'apprendre diverses tâches à partir de petites quantités de données. Pour ce faire, nous construisons des tâches à partir de données non étiquetées de manière automatique et exécutons l'apprentissage métadidactique sur les tâches construites. De manière surprenante, nous constatons que, lorsqu'elle est intégrée à l'apprentissage métadidactique, des mécanismes relativement simples de construction de tâches, comme le regroupement d'embeddings (clustering embeddings), conduisent à de bonnes performances sur une variété de tâches en aval spécifiées par l'homme. Nos expériences sur quatre jeux de données d'images montrent que notre approche d'apprentissage métadidactique non supervisée acquiert un algorithme d'apprentissage sans aucune donnée étiquetée qui est applicable à un large éventail de tâches de classification en aval, améliorant ainsi l'embedding appris par quatre méthodes précédentes d'apprentissage non supervisé.