PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning

Lebenslanges Lernen hat erhebliche Aufmerksamkeit erregt, doch bestehende Ansätze kämpfen weiterhin mit dem Problem des katastrophalen Vergessens und der langfristigen Wissensakkumulation bei inkrementellen Lernprozessen. In dieser Arbeit präsentieren wir PODNet, ein Modell, das durch Darstellungslernen inspiriert ist. Durch eine sorgfältige Abwägung zwischen dem Erinnern alter Klassen und dem Erlernen neuer Klassen gelingt es PODNet, katastrophales Vergessen zu bekämpfen – selbst bei sehr langen Sequenzen kleiner inkrementeller Aufgaben, einem Szenario, das bislang von aktuellen Arbeiten unerforscht blieb. PODNet setzt sich von bestehenden Ansätzen durch eine effiziente, raumbezogene Distanzverlustfunktion, die über das gesamte Modell hinweg angewandt wird, sowie durch eine Darstellung, die für jede Klasse mehrere Proxy-Vektoren umfasst, ab. Wir validieren diese Innovationen umfassend und vergleichen PODNet mit drei state-of-the-art-Modellen anhand dreier Datensätze: CIFAR100, ImageNet100 und ImageNet1000. Unsere Ergebnisse zeigen eine signifikante Überlegenheit von PODNet gegenüber bestehenden Ansätzen, wobei die Genauigkeit um jeweils 12,10, 6,51 und 2,85 Prozentpunkte steigt. Der Quellcode ist unter https://github.com/arthurdouillard/incremental_learning.pytorch verfügbar.