Dunkle Erfahrung für allgemeines kontinuierliches Lernen: Eine starke, einfache Baseline

Kontinuierliches Lernen hat eine Vielzahl von Ansätzen und Evaluierungsszenarien inspiriert; dennoch ignorieren die meisten davon die Eigenschaften einer praktischen Anwendungssituation, in der der Datenstrom nicht als Folge von Aufgaben strukturiert werden kann und eine Offline-Trainingsphase nicht möglich ist. Wir arbeiten an Generalized Continual Learning (GCL), bei dem sich die Aufgaben-Grenzen verwischen und sich sowohl die Domänen- als auch die Klassenverteilungen entweder kontinuierlich oder plötzlich verändern. Wir adressieren dieses Problem durch die Kombination von Rehearsal mit Knowledge Distillation und Regularisierung; unser einfacher Baseline-Ansatz, Dark Experience Replay, passt die Logits des Netzwerks an, die während des Optimierungstrajektorien abgetastet wurden, wodurch eine konsistente Anpassung an die Vergangenheit gefördert wird. Durch eine umfassende Analyse sowohl auf etablierten Benchmarks als auch auf einem neu eingeführten GCL-Evaluierungsszenario (MNIST-360) zeigen wir, dass ein solch scheinbar einfacher Ansatz konsolidierte Methoden übertrifft und dabei nur begrenzte Ressourcen nutzt. Darüber hinaus untersuchen wir die Generalisierungsfähigkeit unseres Ansatzes und belegen, dass die Regularisierung nicht nur die Leistung verbessert, sondern auch darüber hinaus vorteilhaft ist.