Keep Learning : Meta-apprentissage auto-supervisé pour apprendre à partir de l'inférence

Une approche courante dans de nombreux algorithmes d'apprentissage automatique consiste à effectuer un apprentissage auto-supervisé sur de grandes quantités de données non étiquetées, avant un ajustement fin (fine-tuning) sur des tâches spécifiques afin d'améliorer davantage les performances. Une nouvelle approche pour la modélisation du langage, appelée évaluation dynamique (dynamic evaluation), permet d'ajuster finement un modèle entraîné pendant l'inférence en utilisant des étiquettes de vérité terrain trivialement disponibles, entraînant une amélioration significative des performances. Toutefois, cette méthode ne se transpose pas facilement aux tâches de classification, où les étiquettes de vérité terrain sont absentes durant l'inférence. Nous proposons de résoudre ce problème en exploitant l'auto-entraînement (self-training) et en rétropropageant la perte issue des prédictions équilibrées par classe du modèle lui-même (pseudo-étiquettes), en s'inspirant de l'algorithme Reptile issu de l'apprentissage métal (meta-learning), tout en intégrant un biais inductif favorisant les poids pré-entraînés afin d'améliorer la généralisation. Notre méthode améliore les performances de modèles de base standards tels que BERT, Electra et ResNet-50 sur une large gamme de tâches, notamment la réponse aux questions sur SQuAD et NewsQA, la tâche de benchmark SuperGLUE, la sélection de réponses dans des dialogues sur le corpus Ubuntu Dialog v2.0, ainsi que la classification d'images sur MNIST et ImageNet, sans aucune modification des modèles sous-jacents. La méthode proposée surpasse les approches antérieures, permet un ajustement auto-supervisé pendant l'inférence pour tout modèle classificateur afin d'une meilleure adaptation au domaine cible, peut être facilement appliquée à tout type de modèle, et s'avère également efficace dans des contextes en ligne et d'apprentissage par transfert.