Eisenbahn ist kein Zug: Saliency als Pseudopixel-Supervision für schwach überwachte semantische Segmentierung

Bestehende Studien im Bereich der schwach beschrifteten semantischen Segmentierung (Weakly-Supervised Semantic Segmentation, WSSS) unter Verwendung von Bild-Level-Schwachbeschriftung weisen mehrere Einschränkungen auf: spärliche Objektabdeckung, ungenaue Objektränder und ko-aktive Pixel von nicht-zielgerichteten Objekten. Um diesen Herausforderungen zu begegnen, stellen wir einen neuartigen Ansatz vor, namens Explicit Pseudo-pixel Supervision (EPS), der aus pixelgenauen Rückmeldungen lernt, indem zwei Arten von Schwachbeschriftung kombiniert werden: Das Bild-Level-Label liefert die Objektidentität über die Lokalisationskarte, während die Aufmerksamkeitskarte eines kommerziell verfügbaren Aufmerksamkeitsdetektionsmodells reichhaltige Randinformationen bereitstellt. Wir entwickeln eine gemeinsame Trainingsstrategie, um die komplementäre Beziehung beider Informationsquellen optimal auszunutzen. Unser Ansatz ermöglicht eine präzise Schätzung von Objekträndern und die Ablehnung ko-aktiver Pixel, wodurch die Qualität der Pseudomaske erheblich verbessert wird. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode bestehende Ansätze erheblich übertrifft, die zentralen Herausforderungen der WSSS löst und eine neue State-of-the-Art-Leistung sowohl auf den Datensätzen PASCAL VOC 2012 als auch MS COCO 2014 erzielt.