Kontinuierliche semantische Segmentierung durch Abstoßung und Anziehung dünnbesetzter und entkoppelter latenter Darstellungen

Tiefe neuronale Netze leiden unter der wesentlichen Einschränkung des katastrophalen Vergessens alter Aufgaben beim Lernen neuer. In dieser Arbeit konzentrieren wir uns auf die klasseninkrementelle kontinuierliche Lernmethode in der semantischen Segmentierung, bei der neue Kategorien im Laufe der Zeit verfügbar gemacht werden, während vorherige Trainingsdaten nicht beibehalten werden. Das vorgeschlagene kontinuierliche Lernschema gestaltet den latente Raum so um, dass das Vergessen reduziert wird und gleichzeitig die Erkennung neuer Klassen verbessert wird. Unser Framework wird von drei neuartigen Komponenten getrieben, die wir auch nahtlos mit bestehenden Techniken kombinieren können. Erstens gewährleistet das Prototypen-Matching die Konsistenz des latenten Raums für alte Klassen, indem es den Encoder dazu zwingt, ähnliche latente Darstellungen für zuvor gesehene Klassen in nachfolgenden Schritten zu erzeugen. Zweitens ermöglicht die Merkmals-Sparsifizierung Platz im latenten Raum für neue Klassen zu schaffen. Drittens wird kontrastives Lernen eingesetzt, um Merkmale nach ihrer Semantik zu gruppieren und gleichzeitig jene verschiedener Klassen auseinanderzuhalten. Eine umfangreiche Auswertung anhand der Datensätze Pascal VOC2012 und ADE20K zeigt die Effektivität unseres Ansatzes, der signifikant bessere Ergebnisse als state-of-the-art-Methoden erzielt (state-of-the-art methods).