Kompaktifizierung, Selektion und Wachstum für ein unvergessliches kontinuierliches Lernen

Das kontinuierliche lebenslange Lernen ist für viele Anwendungen von entscheidender Bedeutung. In dieser Arbeit schlagen wir einen einfachen, aber effektiven Ansatz für das kontinuierliche Tiefenlernen vor. Unser Ansatz nutzt die Prinzipien der Kompression tiefer Modelle, Auswahl kritischer Gewichte und schrittweiser Erweiterung von Netzwerken. Durch die iterative Integration dieser Prinzipien führen wir eine inkrementelle Lernmethode ein, die sich auf die Anzahl sequentieller Aufgaben in einem Prozess des kontinuierlichen Lernens skalieren lässt. Unser Ansatz ist leicht umzusetzen und verfügt über mehrere vorteilhafte Eigenschaften. Erstens kann er das Vergessen vermeiden (d.h., neue Aufgaben lernen, während alle früheren Aufgaben im Gedächtnis bleiben). Zweitens ermöglicht er die Modell-Erweiterung, kann aber bei der Bearbeitung sequentieller Aufgaben die Kompaktheit des Modells aufrechterhalten. Darüber hinaus zeigen wir durch unser Verkleinerungs- und Auswahl-/Erweiterungsmechanismus, dass das Wissen, das durch das Lernen früherer Aufgaben angesammelt wird, hilfreich ist, um ein besseres Modell für neue Aufgaben zu erstellen im Vergleich zum unabhängigen Training der Modelle mit den einzelnen Aufgaben. Experimentelle Ergebnisse belegen, dass unser Ansatz ein tiefes Modell inkrementell lernen kann, das mehrere Aufgaben bewältigt, ohne dabei vergessen zu müssen. Gleichzeitig wird die Kompaktheit des Modells aufrechterhalten und die Leistungsfähigkeit ist zufriedenstellender als beim Training einzelner Aufgaben.