Représentations négociées pour prévenir l'oubli dans les applications d'apprentissage automatique

L'oubli catastrophique constitue un défi majeur dans le domaine de l'apprentissage automatique, en particulier dans les réseaux de neurones. Lorsqu'un réseau de neurones apprend à bien performer sur une nouvelle tâche, il oublie souvent les connaissances ou expériences acquises précédemment. Ce phénomène survient parce que le réseau ajuste ses poids et ses connexions afin de minimiser la perte sur la nouvelle tâche, ce qui peut involontairement écraser ou perturber les représentations essentielles aux tâches antérieures. En conséquence, les performances du réseau sur les tâches précédentes se dégradent, limitant ainsi sa capacité à apprendre et à s’adapter à une séquence de tâches. Dans cet article, nous proposons une nouvelle méthode pour prévenir l’oubli catastrophique dans les applications d’apprentissage automatique, en se concentrant spécifiquement sur les réseaux de neurones. Notre approche vise à préserver les connaissances du réseau à travers plusieurs tâches tout en permettant au modèle d’apprendre efficacement de nouvelles informations. Nous démontrons l’efficacité de notre méthode à l’aide d’expériences menées sur diverses bases de données standardisées, notamment Split MNIST, Split CIFAR10, Split Fashion MNIST et Split CIFAR100. Ces bases de données sont créées en divisant les jeux de données d’origine en tâches distinctes et non chevauchantes, simulant ainsi un scénario d’apprentissage continu où le modèle doit apprendre plusieurs tâches séquentiellement sans oublier les précédentes. La méthode proposée attaque le problème de l’oubli catastrophique en intégrant des représentations négociées dans le processus d’apprentissage, permettant au modèle de maintenir un équilibre entre la conservation des expériences passées et l’adaptation aux nouvelles tâches. En évaluant notre méthode sur ces bases de données exigeantes, nous visons à mettre en évidence son potentiel à résoudre l’oubli catastrophique et à améliorer les performances des réseaux de neurones dans des environnements d’apprentissage continu.