Lernen eines einheitlichen Klassifikators inkrementell über Umverteilung

Traditionell werden tiefe neuronale Netze offline trainiert und dabei auf umfangreiche, im Voraus vorbereitete Datensätze angewiesen. Dieses Paradigma steht in der Praxis oft vor Herausforderungen, beispielsweise bei Online-Diensten, die kontinuierliche Datenströme verarbeiten müssen. In jüngster Zeit gewinnt das inkrementelle Lernen zunehmend an Aufmerksamkeit und gilt als vielversprechende Lösung für die genannten praktischen Probleme. Allerdings ist beobachtet worden, dass inkrementelles Lernen einer grundlegenden Schwierigkeit unterliegt – dem katastrophalen Vergessen, d. h. die Anpassung eines Modells an neue Daten führt häufig zu einer erheblichen Leistungseinbuße bei früheren Aufgaben oder Klassen. Unsere Studie zeigt, dass das Ungleichgewicht zwischen alten und neuen Daten eine entscheidende Ursache für dieses Problem darstellt. In dieser Arbeit entwickeln wir einen neuen Ansatz für das inkrementelle Lernen eines einheitlichen Klassifikators, beispielsweise eines Klassifikators, der alte und neue Klassen gleichwertig behandelt. Konkret integrieren wir drei Komponenten – Kosinus-Normalisierung, ein Less-Forget-Beschränkungsprinzip und eine Inter-Klassen-Trennung –, um die negativen Auswirkungen dieses Ungleichgewichts zu mildern. Experimente belegen, dass die vorgeschlagene Methode den Trainingsprozess effektiv ausbalancieren kann und somit eine überlegene Leistung im Vergleich zu bestehenden Methoden erzielt. Auf CIFAR-100 und ImageNet kann unsere Methode die Klassifizierungsfehler unter einer inkrementellen Einstellung mit 10 Phasen um mehr als 6 % bzw. 13 % reduzieren.