Die Fähigkeit, kontinuierlich neue Konzepte zu erlernen, ist in der sich ständig verändernden Welt unerlässlich. Tiefere neuronale Netze leiden jedoch unter katastrophalem Vergessen, wenn sie neue Kategorien erlernen. Zahlreiche Ansätze wurden vorgeschlagen, um dieses Phänomen zu mildern, wobei die meisten entweder in das Dilemma von Stabilität und Plastizität geraten oder eine zu hohe Rechen- oder Speicherbelastung verursachen. Inspiriert vom Gradient Boosting-Algorithmus, der schrittweise die Residuen zwischen dem Zielmodell und dem vorherigen Ensemble-Modell anpasst, schlagen wir ein neuartiges zweistufiges Lernparadigma namens FOSTER vor, das dem Modell ermöglicht, neue Kategorien adaptiv zu erlernen. Konkret erweitern wir zunächst dynamisch neue Module, um die Residuen zwischen dem Zielmodell und der Ausgabe des ursprünglichen Modells anzupassen. Anschließend entfernen wir überflüssige Parameter und Merkmalsdimensionen durch eine effektive Distillationstrategie, um das einheitliche Backbone-Modell aufrechtzuerhalten. Wir validieren unsere Methode FOSTER auf CIFAR-100 sowie ImageNet-100/1000 unter verschiedenen Bedingungen. Experimentelle Ergebnisse zeigen, dass unsere Methode eine state-of-the-art-Leistung erzielt. Der Quellcode ist unter folgender URL verfügbar: https://github.com/G-U-N/ECCV22-FOSTER.