Always Be Dreaming: Ein neuer Ansatz für datenfreies klasseninkrementelles Lernen

Moderne Anwendungen im Bereich des Computersehens leiden unter katastrophalem Vergessen, wenn sie über die Zeit hinweg neue Konzepte inkrementell lernen. Die vielversprechendsten Ansätze zur Linderung dieses Problems erfordern eine umfangreiche Wiedergabe bereits gesehener Daten, was problematisch ist, wenn Speicherbeschränkungen oder rechtliche Bedenken bezüglich der Datenverwendung bestehen. In dieser Arbeit betrachten wir das hochwirksame Problem des datenfreien, klasseninkrementellen Lernens (Data-Free Class-Incremental Learning, DFCIL), bei dem ein inkrementeller Lernagent neue Konzepte erlernen muss, ohne Generatoren oder Trainingsdaten früherer Aufgaben zu speichern. Ein Ansatz für DFCIL besteht darin, synthetische Bilder zu replizieren, die durch Inversion einer fixierten Kopie des Klassifikationsmodells des Lerners erzeugt werden. Wir zeigen jedoch, dass dieser Ansatz bei gängigen Benchmarks für klasseninkrementelles Lernen mit herkömmlichen Distanzierungstrategien versagt. Wir analysieren die Ursache dieses Versagens und stellen eine neuartige inkrementelle Distanzierungstrategie für DFCIL vor, die eine modifizierte Kreuzentropie-Trainingsmethode sowie eine gewichtete Merkmalsdistanzierung basierend auf der Bedeutung der Merkmale integriert. Wir zeigen, dass unsere Methode gegenüber den aktuellen State-of-the-Art-Methoden für DFCIL eine Steigerung der Genauigkeit auf dem letzten Task um bis zu 25,1 Prozent (absoluter Unterschied) erzielt, und dass sie sogar mehrere Standardmethoden mit Bild-Coresets übertrifft.