Modèle Zoo : un « cerveau » en croissance qui apprend continuellement

Cet article soutient que les méthodes d’apprentissage continu peuvent bénéficier de la répartition de la capacité d’apprentissage sur plusieurs modèles. En s’appuyant sur la théorie statistique de l’apprentissage et sur une analyse expérimentale, nous montrons comment plusieurs tâches peuvent interagir de manière non triviale lorsqu’elles sont apprises par un seul modèle. L’erreur de généralisation sur une tâche donnée peut s’améliorer lorsqu’elle est apprise conjointement avec des tâches synergiques, mais peut aussi se détériorer lorsqu’elle est apprise avec des tâches concurrentes. Cette théorie motive la mise en œuvre de notre méthode, nommée Model Zoo, inspirée de la littérature sur le boosting, qui construit progressivement un ensemble de petits modèles, chacun entraîné durant une seule phase d’apprentissage continu. Nous démontrons que Model Zoo permet d’obtenir des gains importants en précision sur divers problèmes standards d’apprentissage continu. Le code est disponible à l’adresse suivante : https://github.com/grasp-lyrl/modelzoo_continual.