Split-and-Bridge: Anpassbare klassenbasierte inkrementelle Lernverfahren innerhalb eines einzelnen neuronalen Netzwerks

Kontinuierliches Lernen stellt eine zentrale Herausforderung in der Gemeinschaft des tiefen Lernens dar, wobei die zentrale Schwierigkeit darin besteht, eine Folge neuer Aufgaben effektiv zu erlernen, ohne das Wissen über vorherige Aufgaben zu vergessen. Angeregt durch das Konzept „Learning without Forgetting“ (LwF) berichten viele bestehende Arbeiten, dass die Wissens-Distillation (Knowledge Distillation, KD) effektiv ist, um vorheriges Wissen zu bewahren. Daher verwenden sie häufig ein weiches Label für die alte Aufgabe – also einen KD-Verlust – zusammen mit einem klassischen Label für die neue Aufgabe – also einen Kreuzentropie-Verlust (Cross Entropy, CE) –, um eine zusammengesetzte Verlustfunktion für ein einzelnes neuronales Netzwerk zu bilden. Allerdings leidet dieser Ansatz unter der Tatsache, dass der CE-Verlust das Wissen oft stärker beeinflusst, wenn er im Wettbewerb mit dem KD-Verlust innerhalb eines einzelnen Netzwerks steht. Dies kann insbesondere in Szenarien mit klassen-inkrementellem Lernen ein kritisches Problem darstellen, da sowohl das Wissen über verschiedene Aufgaben als auch das Wissen innerhalb der neuen Aufgabe – beides kann nur durch den CE-Verlust erworben werden – aufgrund der Existenz eines einheitlichen Klassifikators primär durch diesen Verlust erlernt wird. In diesem Artikel stellen wir eine neuartige Methode für kontinuierliches Lernen vor, die wir Split-and-Bridge nennen. Diese Methode löst das oben genannte Problem erfolgreich, indem sie einen Teil des neuronalen Netzwerks partiell in zwei Partitionen aufteilt, um die neue Aufgabe getrennt von der alten Aufgabe zu trainieren, und sie anschließend wieder verbindet, um Wissen über verschiedene Aufgaben zu erlernen. In einer umfassenden experimentellen Analyse zeigt sich, dass unsere Split-and-Bridge-Methode die derzeit besten Ansätze im Bereich der auf Wissens-Distillation basierenden kontinuierlichen Lernverfahren übertrifft.