Bedingte Kanal-gated Netzwerke für aufgabebewusstes kontinuierliches Lernen

Convolutional Neural Networks leiden unter katastrophalem Vergessen, wenn sie auf einer Folge von Lernaufgaben optimiert werden: Während sie die Zielsetzung der aktuellen Trainingsbeispiele erfüllen, sinkt ihre Leistung auf früher gelernte Aufgaben drastisch. In dieser Arbeit präsentieren wir einen neuartigen Ansatz, um dieses Problem mit bedingter Berechnung anzugehen. Wir versehen jede konvolutionale Schicht mit aufgabe-spezifischen Gating-Modulen, die bestimmen, welche Filter auf die gegebenen Eingaben angewendet werden sollen. Auf diese Weise erreichen wir zwei vorteilhafte Eigenschaften. Erstens ermöglichen die Ausführungs-Muster der Gatter die Identifizierung und den Schutz wichtiger Filter, wodurch ein Leistungsverlust für bereits gelernte Aufgaben vermieden wird. Zweitens fördern wir durch eine Sparsitäts-Optimierungszielfunktion die Auswahl einer begrenzten Menge an Kernen, was ausreichende Modellkapazität für die Aufnahme neuer Aufgaben gewährleistet. Bestehende Lösungen erfordern zur Testzeit die Kenntnis der Aufgabe, der jedes Beispiel zuzuordnen ist. Diese Information ist jedoch in vielen praktischen Szenarien nicht verfügbar. Daher führen wir zusätzlich einen Aufgaben-Klassifikator ein, der die Aufgabenbezeichnung jedes Beispiels vorhersagt, um Szenarien zu bewältigen, in denen kein Aufgaben-Orakel zur Verfügung steht. Wir validieren unseren Ansatz an vier kontinuierlichen Lern-Datensätzen. Die Ergebnisse zeigen, dass unser Modell sowohl in Anwesenheit als auch Abwesenheit eines Aufgaben-Orakels konsistent bestehende Methoden übertrifft. Insbesondere erzielt unser Modell auf den Datensätzen Split SVHN und Imagenet-50 eine Steigerung der Genauigkeit um bis zu 23,98 % bzw. 17,42 % gegenüber konkurrierenden Ansätzen.