Die Bewältigung von katastrophalischem Vergessen und Hintergrundverschiebung in kontinuierlicher semantischer Segmentierung

Tiefes Lernen wird heutzutage allgegenwärtig eingesetzt, um Computer Vision Aufgaben wie semantische Segmentierung zu bearbeiten, wofür große Datensätze und erhebliche Rechenleistung erforderlich sind. Kontinuierliches Lernen für semantische Segmentierung (CSS) ist eine aufkommende Tendenz, die darin besteht, ein altes Modell durch sequenzielles Hinzufügen neuer Klassen zu aktualisieren. Allerdings sind kontinuierliche Lernmethoden in der Regel anfällig für katastrophales Vergessen. Dieses Problem wird in CSS weiter verschärft, da bei jedem Schritt alte Klassen aus vorherigen Iterationen in den Hintergrund zusammengefasst werden. In dieser Arbeit schlagen wir Local POD vor, ein mehrskaliges Pooling-Distillationsverfahren, das lang- und kurzreichweitige räumliche Beziehungen auf Feature-Ebene beibehält. Darüber hinaus entwickeln wir eine entropiebasierte Pseudo-Beschriftung des Hintergrunds im Verhältnis zu den von dem alten Modell vorhergesagten Klassen, um den Hintergrundverschiebung zu bewältigen und das katastrophale Vergessen der alten Klassen zu vermeiden. Schließlich führen wir eine neuartige Wiederholungsmethode ein, die sich besonders gut für die Segmentierung eignet. Unser Ansatz, PLOP genannt, übertrifft signifikant die Stand der Technik-Methoden in bestehenden CSS-Szenarien sowie in neu vorgeschlagenen anspruchsvollen Benchmarks.