Aufrechterhaltung von Diskriminierungsfreiheit und Fairness im klasseninkrementellen Lernen

Tiefere neuronale Netzwerke (DNNs) werden in der klassen-inkrementellen Lernumgebung eingesetzt, die darauf abzielt, alltägliche reale Herausforderungen des kontinuierlichen Lernens neuer Klassen zu bewältigen. Ein wesentlicher Nachteil herkömmlicher DNNs besteht darin, dass sie anfällig für katastrophales Vergessen sind. Wissensdistillation (KD) ist eine häufig verwendete Technik, um dieses Problem zu mildern. In diesem Paper zeigen wir, dass KD tatsächlich dazu beitragen kann, dass das Modell präzisere Ergebnisse innerhalb der alten Klassen erzeugt. Allerdings kann KD das Problem nicht lindern, dass das Modell dazu neigt, Objekte fälschlicherweise in neue Klassen einzuteilen, wodurch der positive Effekt von KD verdeckt und eingeschränkt wird. Wir beobachteten, dass ein entscheidender Faktor für katastrophales Vergessen darin besteht, dass die Gewichte in der letzten vollständig verbundenen (FC) Schicht bei der klassen-inkrementellen Lernung stark verzerrt sind. In diesem Beitrag stellen wir eine einfache und effektive Lösung vor, die auf diesen Beobachtungen basiert, um katastrophales Vergessen zu bekämpfen. Zunächst nutzen wir KD, um die Diskriminierungsfähigkeit innerhalb der alten Klassen zu bewahren. Um anschließend die Gerechtigkeit zwischen alten und neuen Klassen weiter zu gewährleisten, schlagen wir Weight Aligning (WA) vor, eine Methode, die die verzerrten Gewichte in der FC-Schicht nach dem normalen Trainingsprozess korrigiert. Im Gegensatz zu vorherigen Ansätzen benötigt WA weder zusätzliche Parameter noch eine vorherige Validierungsdatenmenge, da sie die Informationen aus den verzerrten Gewichten selbst nutzt. Die vorgeschlagene Methode wurde auf ImageNet-1000, ImageNet-100 und CIFAR-100 unter verschiedenen Einstellungen evaluiert. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode katastrophales Vergessen effektiv reduzieren und signifikant besser abschneiden als aktuell beste Verfahren.