Großes inkrementelles Lernen

Moderne maschinelles Lernen leidet an katastrophischem Vergessen, wenn es inkrementell neue Klassen lernt. Die Leistung verschlechtert sich drastisch aufgrund des Fehlens von Daten der alten Klassen. Es wurden inkrementelle Lernmethoden vorgeschlagen, um das Wissen aus den alten Klassen zu bewahren, indem man Wissensverdichtung (knowledge distilling) verwendet und einige Exemplare aus den alten Klassen beibehält. Allerdings haben diese Methoden Schwierigkeiten, bei einer großen Anzahl von Klassen zu skalieren. Wir glauben, dass dies auf die Kombination von zwei Faktoren zurückzuführen ist: (a) dem Datendefizit zwischen den alten und neuen Klassen und (b) der zunehmenden Anzahl visuell ähnlicher Klassen. Das Unterscheiden einer zunehmenden Anzahl visuell ähnlicher Klassen ist besonders herausfordernd, wenn die Trainingsdaten unbalanciert sind. Wir schlagen eine einfache und effektive Methode vor, um dieses Problem des Datendefizits anzugehen. Wir stellten fest, dass die letzte vollständig verbundene Schicht eine starke Verzerrung zugunsten der neuen Klassen aufweist, und diese Verzerrung kann durch ein lineares Modell korrigiert werden. Mit zwei Verzerrungsparametern erzielt unsere Methode bemerkenswerte Ergebnisse in zwei großen Datensätzen: ImageNet (1000 Klassen) und MS-Celeb-1M (10000 Klassen), wobei sie die Standesalgorithmen um 11,1 % und 13,2 % übertrifft.请注意，这里“法语”应为“德语”，因此我按照德语的标准进行了翻译。希望这能帮助到您！