SATS: Selbst-Aufmerksamkeits-Transfer für kontinuierliche semantische Segmentierung

Das kontinuierliche Lernen, um immer mehr Arten von Bildbereichen zu segmentieren, ist eine gewünschte Fähigkeit für viele intelligente Systeme. Allerdings leidet das kontinuierliche semantische Segmentieren an demselben Problem des katastrophalen Vergessens wie das kontinuierliche Klassifikationslernen. Obwohl mehrere Wissensdistillationsstrategien, die ursprünglich für das kontinuierliche Klassifikationslernen entwickelt wurden, gut auf das kontinuierliche semantische Segmentieren angepasst wurden, berücksichtigen sie nur den Transfer alter Wissen basierend auf den Ausgaben einer oder mehrerer Schichten tiefgestreckter voll konvolutiver Netze. Im Gegensatz zu bestehenden Lösungen schlägt diese Studie vor, eine neue Art von Wissensrelevanz zu transferieren, nämlich die Beziehungen zwischen Elementen (z.B. Pixeln oder kleinen lokalen Bereichen) innerhalb jedes Bildes, die sowohl innerhalb der Klassen als auch zwischen den Klassen Wissen erfassen können. Die Beziehungsinformationen können effektiv aus den Selbst-Aufmerksamkeitskarten in einem Transformer-basierten Segmentierungsmodell abgeleitet werden. Angesichts der Tatsache, dass Pixel derselben Klasse in jedem Bild oft ähnliche visuelle Eigenschaften teilen, wird eine klassenspezifische Regionspooling-Methode angewendet, um effizientere Beziehungsinformationen für den Wissentransfer bereitzustellen. Umfangreiche Evaluierungen auf mehreren öffentlichen Benchmarks zeigen, dass die vorgeschlagene Methode zur Übertragung von Selbst-Aufmerksamkeit das Problem des katastrophalen Vergessens effektiv weiter reduzieren kann und ihre flexible Kombination mit einer oder mehreren weit verbreiteten Strategien erheblich bessere Ergebnisse als state-of-the-art-Lösungen erzielt.