التعلم المستمر مدى الحياة ضروري للكثير من التطبيقات. في هذا البحث، نقترح نهجًا بسيطًا ولكنه فعال للتعلم العميق المستمر. يعتمد نهجنا على مبادئ ضغط النماذج العميقة، واختيار الأوزان الحرجة، وتوسيع الشبكات التدريجي. من خلال تطبيق هذه المبادئ بطريقة تكرارية، نقدم طريقة تعلم متزايدة قابلة للتوسع حسب عدد المهام المتتابعة في عملية التعلم المستمر. نهجنا سهل التنفيذ ويتميز بعدة خصائص مفضلة. أولاً، يمكنه تجنب النسيان (أي تعلم المهام الجديدة مع الاحتفاظ بكل المهام السابقة). ثانيًا، يسمح بتوسيع النموذج ولكنه يمكن الحفاظ على كثافة النموذج عند التعامل مع المهام المتتابعة. بالإضافة إلى ذلك، من خلال آلية الضغط واختيار/توسيع التي نستخدمها، نوضح أن المعرفة المتراكمة عبر تعلم المهام السابقة تكون مفيدة في بناء نموذج أفضل للمهام الجديدة مقارنة بتدريب النماذج بشكل مستقل لكل مهمة. تظهر النتائج التجريبية أن نهجنا يمكنه التعلم التدريجي لنموذج عميق يتعامل مع عدة مهام دون نسيان، بينما يتم الحفاظ على كثافة النموذج مع أداء أكثر رضاً من التدريب الفردي للمهام.