SSUL: Semantische Segmentierung mit unbekanntem Label für exemplarbasiertes klasseninkrementelles Lernen

Dieses Papier stellt eine solide, den aktuellen Stand der Technik reflektierende Grundlage für das Problem der klasseninkrementellen semantischen Segmentierung (CISS) vor. Obwohl aktuelle CISS-Algorithmen verschiedene Varianten der Wissensdistillations-Technik (Knowledge Distillation, KD) nutzen, um das Problem anzugehen, sind sie nicht in der Lage, die kritischen Herausforderungen bei CISS vollständig zu bewältigen, insbesondere das katastrophale Vergessen; die semantische Veränderung der Hintergrundklasse und das Problem der Multi-Label-Vorhersage. Um diese Herausforderungen besser zu meistern, schlagen wir eine neue Methode vor, die als SSUL-M (Semantic Segmentation with Unknown Label with Memory) bezeichnet wird. Diese Methode kombiniert sorgfältig auf die semantische Segmentierung zugeschnittene Techniken. Insbesondere machen wir drei Hauptbeiträge geltend: (1) Die Definition von unbekannten Klassen innerhalb der Hintergrundklasse, um das Lernen zukünftiger Klassen zu unterstützen (Plastizität fördern), (2) Das Einfrieren des Backbone-Netzes und vergangener Klassifizierer durch den binären Kreuzentropieverlust und Pseudo-Beschriftung, um das katastrophale Vergessen zu überwinden (Stabilität fördern), und (3) Die Nutzung eines winzigen Exemplar-Speichers erstmals in CISS, um sowohl Plastizität als auch Stabilität zu verbessern. Ausführliche Experimente zeigen die Effektivität unserer Methode, die signifikant bessere Ergebnisse als jüngste Stand-der-Technik-Baselines auf Standard-Datensätzen erzielt. Darüber hinaus begründen wir unsere Beiträge durch detaillierte Abstraktionsanalysen und diskutieren die verschiedenen Eigenschaften des CISS-Problems im Vergleich zum traditionellen klasseninkrementellen Lernen mit Fokus auf Klassifikation. Der offizielle Code ist unter https://github.com/clovaai/SSUL verfügbar.