L2G: Ein einfaches lokales-zu-globalen Wissensübertragungsframework für schwach überwachte semantische Segmentierung

Die Gewinnung präziser, klassenbezogener Aufmerksamkeitskarten, auch bekannt als Class Activation Maps (CAMs), ist entscheidend für die schwach überwachte semantische Segmentierung. In diesem Artikel präsentieren wir L2G, einen einfachen online-orientierten lokalen-zu-globalen Wissensübertragungsansatz zur Erzeugung hochwertiger Objektaufmerksamkeiten. Wir beobachten, dass Klassifikationsmodelle bei Ersetzung des Eingabebildes durch lokale Bildpatches detailliertere Objektregionen erkennen können. Ausgehend von dieser Beobachtung nutzen wir zunächst ein lokales Klassifikationsnetzwerk, um Aufmerksamkeiten aus mehreren zufällig aus dem Eingabebild geschnittenen lokalen Patchs zu extrahieren. Anschließend wenden wir ein globales Netzwerk an, um online ergänzende Aufmerksamkeitswissen aus mehreren lokalen Aufmerksamkeitskarten zu lernen. Unser Framework ermöglicht es dem globalen Netzwerk, die reichhaltigen Objektdetails, die aus einer globalen Perspektive erfasst wurden, zu integrieren und somit hochwertige Aufmerksamkeitskarten zu generieren, die direkt als Pseudolabels für semantische Segmentierungsnetzwerke verwendet werden können. Experimente zeigen, dass unsere Methode auf dem Validierungssatz von PASCAL VOC 2012 und MS COCO 2014 jeweils mIoU-Werte von 72,1 % und 44,2 % erreicht und damit neue State-of-the-Art-Rekorde aufstellt. Der Quellcode ist unter https://github.com/PengtaoJiang/L2G verfügbar.