Saliency-gesteuertes Self-Attention-Netzwerk für schwach- und halbüberwachtes semantisches Segmentieren

Schwach beschriftete semantische Segmentierung (WSSS) unter Verwendung ausschließlich bilddatenbasierter Labels kann die Anmerkungskosten erheblich reduzieren und hat daher erhebliches Forschungsinteresse geweckt. Allerdings bleibt ihre Leistung noch immer hinter den vollständig beschrifteten Ansätzen zurück. Um diese Leistungslücke zu verringern, schlagen wir ein Aufmerksamkeitsnetzwerk mit Aufmerksamkeitssteuerung durch Aufmerksamkeitsmerkmale (Saliency Guided Self-Attention Network, SGAN) vor, um das WSSS-Problem zu lösen. Die eingeführte Selbst-Aufmerksamkeitsmechanik ist in der Lage, reichhaltige und umfassende Kontextinformationen zu erfassen, kann jedoch die Aufmerksamkeit auch auf unerwünschte Regionen unangemessen ausweiten. Um sicherzustellen, dass dieser Mechanismus auch unter schwacher Aufsicht effektiv funktioniert, integrieren wir klassenunabhängige Aufmerksamkeitsvorwissen in die Selbst-Aufmerksamkeitsmechanik und nutzen klassenspezifische Aufmerksamkeitssignale als zusätzliche Aufsicht für SGAN. Unser SGAN ist in der Lage, dichte und präzise Lokalisierungshinweise zu erzeugen, wodurch die Segmentierungsleistung signifikant gesteigert wird. Darüber hinaus funktioniert SGAN auch effektiv für die halbüberwachte semantische Segmentierung, indem man lediglich die zusätzliche Aufsicht durch teilweise beschriftete Ground-Truth-Labels ersetzt. Experimente auf den Datensätzen PASCAL VOC 2012 und COCO zeigen, dass unser Ansatz sowohl im schwach überwachten als auch im halbüberwachten Szenario alle anderen aktuellen State-of-the-Art-Methoden übertrifft.