Überwindung katas trophaler Vergessensphänomene bei inkrementellen Few-Shot-Lernverfahren durch die Suche nach flachen Minima

Diese Arbeit befasst sich mit dem inkrementellen Few-Shot-Lernen, bei dem ein Modell kontinuierlich neue Kategorien erkennen muss, wobei nur wenige Beispiele für jede neue Klasse bereitgestellt werden. Unsere Studie zeigt, dass bestehende Methoden erheblich unter katastrophalem Vergessen leiden, einem bekannten Problem im inkrementellen Lernen, das durch die Knappheit und Ungleichgewicht der Daten im Few-Shot-Szenario weiter verschärft wird. Unsere Analyse deutet zudem darauf hin, dass zur Vermeidung des katastrophalen Vergessens bereits in einem frühen Stadium – nämlich bei der Ausbildung der Basisklassen – Maßnahmen ergriffen werden müssen, anstatt erst während späterer Few-Shot-Lernphasen zu reagieren. Daher schlagen wir vor, flache lokale Minima der Basislernzielfunktion zu suchen und anschließend die Modellparameter innerhalb dieses flachen Bereichs auf neue Aufgaben feinabzustimmen. Auf diese Weise kann das Modell neue Klassen effizient erlernen, während die bereits gelernten Klassen erhalten bleiben. Umfassende experimentelle Ergebnisse zeigen, dass unser Ansatz alle vorherigen State-of-the-Art-Methoden übertrifft und sich der annähernden oberen Grenze sehr nahe befindet. Der Quellcode ist unter https://github.com/moukamisama/F2M verfügbar.