LAMOL : LAnguage MOdeling pour l'Apprentissage Linguistique à Vie

La plupart des recherches sur l’apprentissage tout au long de la vie s’appliquent aux images ou aux jeux, mais pas au langage. Nous présentons LAMOL, une méthode simple mais efficace pour l’apprentissage linguistique tout au long de la vie (LLL) fondée sur le modèle de langage. LAMOL rejoue des pseudo-échantillons des tâches précédentes tout en n’exigeant aucune mémoire supplémentaire ni capacité de modèle additionnelle. Plus précisément, LAMOL est un modèle de langage qui apprend simultanément à résoudre les tâches et à générer des échantillons d’entraînement. Lorsqu’il est entraîné sur une nouvelle tâche, le modèle génère des pseudo-échantillons des tâches précédentes pour l’entraînement, en parallèle des données de la nouvelle tâche. Les résultats montrent que LAMOL empêche efficacement l’oubli catastrophique, sans aucun signe d’intransigeance, et permet de réaliser cinq tâches linguistiques très différentes de manière séquentielle avec un seul modèle. Globalement, LAMOL surpasse de manière significative les méthodes antérieures et atteint un niveau de performance seulement 2 à 3 % inférieur à celui de l’apprentissage multitâche, qui est généralement considéré comme la borne supérieure pour le LLL. Le code source est disponible à l’adresse suivante : https://github.com/jojotenya/LAMOL.