Über winzige episodische Erinnerungen im kontinuierlichen Lernen

Im kontinuierlichen Lernen (CL) lernt ein Agent aus einer Aufgabenfolge und nutzt frühere Erfahrungen, um Wissen auf zukünftige Aufgaben zu übertragen. Es handelt sich dabei um ein ideales Framework, um die Menge der erforderlichen Überwachung in den bestehenden Lernalgorithmen zu reduzieren. Für eine erfolgreiche Wissensübertragung muss der Lernende jedoch in der Lage sein, die Ausführung von vorherigen Aufgaben zu erinnern. Eine Möglichkeit, dem Lernenden diese Fähigkeit zu verleihen, besteht darin, ein kleines Gedächtnis zu speichern, das als episodisches Gedächtnis bezeichnet wird. Dieses speichert wenige Beispiele aus vorherigen Aufgaben und diese Beispiele werden dann bei der Ausbildung für zukünftige Aufgaben wiederholt abgespielt. In dieser Arbeit untersuchen wir empirisch die Effektivität eines sehr kleinen episodischen Gedächtnisses in einem CL-Szenario, bei dem jedes Trainingsbeispiel nur einmal gesehen wird. Überraschenderweise übertreffen vier recht unterschiedliche überwachte Lernbenchmarks, die für CL angepasst wurden, eine sehr einfache Baseline signifikant, die sowohl auf Beispielen der aktuellen Aufgabe als auch auf Beispielen im episodischen Gedächtnis trainiert. Interessanterweise stellen wir fest, dass das wiederholte Training sogar mit winzigen Erinnerungen an vergangene Aufgaben die Generalisierungsfähigkeit nicht beeinträchtigt; im Gegenteil, es verbessert sie sogar um 7 bis 17 Prozentpunkte, wenn das Gedächtnis mit einem Beispiel pro Klasse gefüllt ist.