CoMFormer: Kontinuierliches Lernen in der semantischen und panoptischen Segmentierung

Das kontinuierliche Lernen für die Segmentierung hat in letzter Zeit zunehmendes Interesse gefunden. Bislang konzentrierten sich jedoch alle vorangegangenen Arbeiten auf die enge semantische Segmentierung und vernachlässigten die panoptische Segmentierung, eine wichtige Aufgabe mit praktischen Auswirkungen. In dieser Arbeit präsentieren wir das erste kontinuierliche Lernmodell, das sowohl semantische als auch panoptische Segmentierung durchführen kann. Inspiriert von jüngsten Ansätzen mit Transformatoren, die die Segmentierung als Maskenklassifizierungsproblem betrachten, entwickeln wir CoMFormer. Unsere Methode nutzt sorgfältig die Eigenschaften von Transformer-Architekturen, um im Laufe der Zeit neue Klassen zu lernen. Insbesondere schlagen wir einen neuen adaptiven Destillationsverlust vor, der zusammen mit einer maskenbasierten Pseudo-Labeling-Technik effektiv das Vergessen alter Klassen verhindert. Um unseren Ansatz zu evaluieren, führen wir eine neue Benchmark für kontinuierliche panoptische Segmentierung auf dem anspruchsvollen ADE20K-Datensatz ein. Unser CoMFormer übertrifft alle existierenden Baseline-Modelle, indem es weniger alte Klassen vergisst und gleichzeitig effektiver neue Klassen lernt. Darüber hinaus berichten wir auch umfangreiche Evaluierungen im Szenario der kontinuierlichen semantischen Segmentierung großer Datenmengen, die zeigen, dass CoMFormer erheblich besser als state-of-the-art-Methoden abschneidet.