Effizientes lifelong Learning mit A-GEM

Im Bereich des lebenslangen Lernens wird der Lernende einer Reihe von Aufgaben präsentiert, wobei schrittweise ein datengestütztes Prior gebildet wird, das zur Beschleunigung des Lernens einer neuen Aufgabe genutzt werden kann. In dieser Arbeit untersuchen wir die Effizienz aktueller Ansätze des lebenslangen Lernens hinsichtlich der Stichprobenkomplexität, den Rechen- und Speicherkosten. Dazu führen wir zunächst ein neues und realistischeres Evaluationsprotokoll ein, bei dem Lernende jedes Beispiel nur einmal beobachten und die Hyperparameterauswahl auf einer kleinen und disjunkten Menge von Aufgaben durchgeführt wird, die nicht für den eigentlichen Lernaufwand und die Bewertung verwendet wird. Zweitens stellen wir eine neue Metrik vor, die misst, wie schnell ein Lernender eine neue Fähigkeit erlernt. Drittens schlagen wir eine verbesserte Version von GEM (Lopez-Paz & Ranzato, 2017) vor, die als Averaged GEM (A-GEM) bezeichnet wird. Diese bietet dieselbe oder sogar bessere Leistung als GEM, während sie fast so rechen- und speicherintensiv ist wie EWC (Kirkpatrick et al., 2016) und andere regularisierungsbasierende Methoden. Schließlich zeigen wir, dass alle Algorithmen, einschließlich A-GEM, noch schneller lernen können, wenn sie mit Task-Deskriptoren versorgt werden, die die zu betrachtenden Klassifizierungsaufgaben spezifizieren. Unsere Experimente an mehreren standardisierten Benchmarks des lebenslangen Lernens demonstrieren, dass A-GEM den besten Kompromiss zwischen Genauigkeit und Effizienz bietet.