L'apprentissage continu tout au long de la vie est essentiel à de nombreuses applications. Dans cet article, nous proposons une approche simple mais efficace pour l'apprentissage profond continu. Notre méthode repose sur les principes de compression des modèles profonds, sélection des poids critiques et expansion progressive des réseaux. En imposant leur intégration de manière itérative, nous introduisons une méthode d'apprentissage incrémentiel qui peut s'adapter au nombre de tâches séquentielles dans un processus d'apprentissage continu. Notre approche est facile à mettre en œuvre et présente plusieurs caractéristiques favorables. Premièrement, elle peut éviter l'oubli (c'est-à-dire apprendre de nouvelles tâches tout en se souvenant de toutes les tâches précédentes). Deuxièmement, elle permet l'expansion du modèle mais peut maintenir sa compacité lorsqu'elle traite des tâches séquentielles. En outre, grâce à notre mécanisme de compaction et de sélection/expansion, nous démontrons que les connaissances accumulées par l'apprentissage des tâches précédentes sont utiles pour construire un meilleur modèle pour les nouvelles tâches, comparativement à l'entraînement indépendant des modèles avec chaque tâche. Les résultats expérimentaux montrent que notre approche peut apprendre progressivement un modèle profond capable de traiter plusieurs tâches sans oublier, tout en maintenant la compacité du modèle avec des performances plus satisfaisantes que celles obtenues par l'entraînement individuel des tâches.