Apprentissage incrémental d'un classificateur unifié par rééquilibrage

Conventionnellement, les réseaux neuronaux profonds sont entraînés de manière hors ligne, sur la base d’un grand jeu de données préparé à l’avance. Ce paradigme est fréquemment mis à l’épreuve dans les applications réelles, notamment dans les services en ligne qui traitent des flux continus de données. Récemment, l’apprentissage incrémental attire une attention croissante et est considéré comme une solution prometteuse aux défis pratiques susmentionnés. Toutefois, il a été observé que l’apprentissage incrémental est sujet à une difficulté fondamentale — le oubli catastrophique — c’est-à-dire que l’adaptation d’un modèle aux nouvelles données entraîne souvent une dégradation sévère des performances sur les tâches ou classes antérieures. Notre étude révèle que le déséquilibre entre les données anciennes et les nouvelles constitue une cause cruciale de ce problème. Dans ce travail, nous proposons un nouveau cadre pour l’apprentissage incrémental d’un classificateur unifié, c’est-à-dire un classificateur traitant de manière uniforme les classes anciennes et les nouvelles. Plus précisément, nous intégrons trois composants : la normalisation cosinus, la contrainte de moindre oubli et la séparation inter-classes, afin de atténuer les effets néfastes de ce déséquilibre. Les expériences montrent que la méthode proposée permet efficacement de rééquilibrer le processus d’entraînement, conduisant à des performances supérieures par rapport aux méthodes existantes. Sur CIFAR-100 et ImageNet, notre approche permet de réduire les erreurs de classification de plus de 6 % et de plus de 13 % respectivement, dans un cadre incrémental de 10 phases.