Ein Sack Tricks für Few-Shot Class-Incremental Learning

Wir präsentieren einen „Bag of Tricks“-Ansatz für Few-Shot Class-Incremental Learning (FSCIL), eine herausfordernde Form des kontinuierlichen Lernens, die eine kontinuierliche Anpassung an neue Aufgaben mit begrenzten Beispielen erfordert. FSCIL erfordert sowohl Stabilität als auch Anpassungsfähigkeit, d. h., die Bewahrung der Leistungsfähigkeit bei bereits gelernten Aufgaben, während gleichzeitig neue Aufgaben erlernt werden. Der von uns vorgeschlagene „Bag of Tricks“ vereint sechs zentrale und hochinfluente Techniken innerhalb eines einheitlichen Rahmens, die Stabilität, Anpassungsfähigkeit und insgesamt die Leistungsfähigkeit im Kontext von FSCIL verbessern. Wir ordnen diese Techniken in drei Kategorien ein: Stabilitäts-Tricks, Anpassungsfähigkeits-Tricks und Trainings-Tricks. Stabilitäts-Tricks zielen darauf ab, das Vergessen bereits gelernter Klassen zu reduzieren, indem die Trennbarkeit der Embeddings bereits gelernter Klassen erhöht und die Interferenz beim Lernen neuer Klassen minimiert wird. Anpassungsfähigkeits-Tricks hingegen konzentrieren sich auf die effektive Erfassung neuer Klassen. Schließlich verbessern Trainings-Tricks die Gesamtleistung ohne die Stabilität oder Anpassungsfähigkeit zu beeinträchtigen. Wir führen umfangreiche Experimente auf drei Standard-Datensätzen durch: CIFAR-100, CUB-200 und miniImageNet, um die Wirkung unseres vorgeschlagenen Ansatzes zu bewerten. Unsere detaillierte Analyse zeigt, dass unsere Methode sowohl Stabilität als auch Anpassungsfähigkeit erheblich verbessert und eine neue State-of-the-Art erreicht, indem sie vorherige Ansätze in diesem Bereich übertrifft. Wir sind überzeugt, dass unsere Methode eine empfehlenswerte Lösung darstellt und eine robuste Basis für zukünftige Forschung in diesem Bereich etabliert.