Parvenir à prévenir l'oubli tout en assurant le transfert de connaissances en apprentissage continu

L’apprentissage continu (CL) vise à apprendre une séquence de tâches de manière incrémentale, dans le but d’atteindre deux objectifs principaux : surmonter le oubli catastrophique (CF) et favoriser le transfert de connaissances (KT) entre les tâches. Toutefois, la plupart des méthodes existantes se concentrent uniquement sur la résolution du CF et ne disposent d’aucun mécanisme pour encourager le KT, ce qui les rend peu performantes en matière de transfert. Bien que plusieurs travaux aient tenté de traiter à la fois le CF et le KT, nos expérimentations montrent qu’ils souffrent d’un CF important lorsque les tâches partagent peu de connaissances. Une autre observation importante est que la plupart des méthodes actuelles de CL n’utilisent pas de modèles pré-entraînés, alors que l’on a démontré que ces modèles peuvent considérablement améliorer les performances sur la tâche finale. Par exemple, en traitement du langage naturel, le fine-tuning d’un modèle pré-entraîné de type BERT constitue l’une des approches les plus efficaces. Toutefois, cette approche souffre d’un CF sévère dans le cadre du CL. Une question intéressante s’impose alors : comment tirer le meilleur parti des modèles pré-entraînés dans le contexte de l’apprentissage continu ? Ce papier propose un nouveau modèle, appelé CTR, afin de résoudre ces problèmes. Nos résultats expérimentaux démontrent l’efficacité de CTR.