Beschränktes Few-shot Class-incremental Learning

Das kontinuierliche Erlernen neuer Klassen aus frischen Daten ohne Vergessen bisheriger Kenntnisse über alte Klassen stellt ein äußerst herausforderndes Forschungsproblem dar. Zudem ist es unerlässlich, dass ein solches Lernen bestimmte Speicher- und Rechenbeschränkungen respektiert, wie beispielsweise (i) eine Beschränkung auf nur wenige Trainingsbeispiele pro Klasse, (ii) eine konstante Rechenkostenlast beim Lernen neuer Klassen und (iii) ein Speicheraufwand des Modells, der maximal linear mit der Anzahl der beobachteten Klassen wächst. Um diese Anforderungen zu erfüllen, schlagen wir C-FSCIL vor, eine architektonisch zusammengesetzte Lösung aus einem fixierten, meta-gelernten Merkmalsextraktor, einem trainierbaren, festen Größe aufweisenden vollständig verbundenen Layer und einem wiederschreibbaren, dynamisch wachsenden Speicher, der so viele Vektoren speichert, wie es beobachtete Klassen gibt. C-FSCIL bietet drei Aktualisierungsmodi, die ein Kompromiss zwischen Genauigkeit und Rechen-Speicher-Kosten beim Lernen neuer Klassen darstellen. Durch die Nutzung von Hyperdimensionalen Einbettungen ermöglicht C-FSCIL die kontinuierliche Darstellung vieler mehr Klassen als die feste Dimension des Vektorraums zulässt, wobei die Interferenz minimal bleibt. Die Qualität der Klassenvektorrepräsentationen wird zudem durch eine quasi-orthogonale Ausrichtung der Vektoren mittels neuartiger Verlustfunktionen weiter verbessert. Experimente auf den Datensätzen CIFAR100, miniImageNet und Omniglot zeigen, dass C-FSCIL die Baseline-Methoden mit beachtlicher Genauigkeit und Kompressionsrate übertrifft. Zudem skaliert C-FSCIL bis hin zur bisher größten Problemgröße in diesem Few-Shot-Szenario, indem es 423 neue Klassen auf Basis von 1200 Basis-Klassen mit weniger als 1,6 % Genauigkeitsverlust lernt. Unser Code ist unter https://github.com/IBM/constrained-FSCIL verfügbar.