End-to-End Inkrementelles Lernen

Obwohl Ansätze des tiefen Lernens in den letzten Jahren aufgrund ihrer erstklassigen Ergebnisse hervorgetreten sind, leiden sie weiterhin unter dem katastrophalen Vergessen, einem drastischen Rückgang der Gesamtleistung, wenn neue Klassen inkrementell hinzugefügt werden. Dies liegt daran, dass aktuelle neuronale Netzarchitekturen das gesamte Datenset erfordern, das sowohl alle Beispiele der alten als auch der neuen Klassen umfasst, um das Modell zu aktualisieren – eine Anforderung, die sich leicht als nicht nachhaltig erweist, wenn die Anzahl der Klassen zunimmt. Wir begegnen diesem Problem mit unserem Ansatz zur inkrementellen Lernung tiefer neuronaler Netze, bei dem wir neue Daten und nur einen kleinen Exemplar-Satz verwenden, der Beispiele der alten Klassen enthält. Dies basiert auf einem Verlustfunktionsterm, der aus einer Destillationsmaßnahme besteht, um das Wissen von den alten Klassen zu bewahren, und einem Kreuzentropieverlust zur Lernung der neuen Klassen. Unser inkrementelles Training wird durchgeführt, während wir den gesamten Rahmen von Anfang bis Ende beibehalten (end-to-end), d.h., die Datenrepräsentation und den Klassifikator gemeinsam lernen, im Gegensatz zu jüngsten Methoden ohne solche Garantien. Wir evaluieren unsere Methode ausführlich anhand der Bildklassifizierungsdatensätze CIFAR-100 und ImageNet (ILSVRC 2012) und zeigen dabei erstklassige Leistungen.