L'apprentissage continu constitue un enjeu majeur au sein de la communauté du deep learning, le défi principal étant d'apprendre efficacement une suite de tâches nouvelles arrivant progressivement sans oublier les connaissances acquises auparavant. Initié par l'approche Learning without Forgetting (LwF), de nombreuses études récentes ont montré que la distillation de connaissances est une méthode efficace pour préserver les connaissances antérieures. En conséquence, ces méthodes utilisent fréquemment un label doux pour la tâche ancienne — c’est-à-dire une perte de distillation de connaissances (KD) — conjointement à un label de classe pour la tâche nouvelle — c’est-à-dire une perte d’entropie croisée (CE) — afin de former une perte composite dans un même réseau neuronal. Toutefois, cette approche souffre d’un déséquilibre dans l’apprentissage : la perte d’entropie croisée tend à influencer davantage la fonction objectif que la perte de distillation de connaissances lorsqu’elles sont en compétition au sein d’un même réseau. Ce phénomène peut s’avérer critique, notamment dans un scénario d’incrémentation de classes, où les connaissances tant entre les tâches qu’à l’intérieur de la nouvelle tâche — qui ne peuvent être acquises que par la perte d’entropie croisée — sont essentiellement apprises en raison de l’existence d’un classificateur unique. Dans ce travail, nous proposons une nouvelle méthode d’apprentissage continu, nommée Split-and-Bridge, qui permet de résoudre efficacement ce problème en divisant partiellement le réseau neuronal en deux parties distinctes pour entraîner la nouvelle tâche séparément de la tâche ancienne, puis en reconnectant ces deux parties pour apprendre les connaissances transversales entre les tâches. Une analyse expérimentale approfondie démontre que notre méthode Split-and-Bridge surpasser les meilleures approches actuelles dans le cadre de l’apprentissage continu basé sur la distillation de connaissances.