RecurSeed und EdgePredictMix: Pseudo-Label-Verfeinerungslernen für schwach überwachte semantische Segmentierung über ein- und mehrstufige Frameworks

Obwohl die schwach beschriftete semantische Segmentierung unter Verwendung nur von Bild-Level-Labels (WSSS-IL) potenziell nützlich ist, beschränken ihre geringe Leistungsfähigkeit und die hohe Implementierungscomplexität weiterhin ihre Anwendung. Die Hauptursachen hierfür sind die Phänomene der Nicht-Erkennung und der Falsch-Erkennung: (a) Die Klassen-Aktivierungskarten, die aus bestehenden WSSS-IL-Verfahren abgeleitet werden, repräsentieren weiterhin nur teilweise Bereiche großer Objekte, und (b) bei kleinen Objekten führt eine Überaktivierung dazu, dass die Aktivierung von den Objektkanten abweicht. Wir stellen RecurSeed vor, das durch rekursive Iterationen abwechselnd die Nicht-Erkennung und die Falsch-Erkennung reduziert und damit implizit eine optimale Verzweigungspunkt findet, der beide Fehlerquellen minimiert. Außerdem präsentieren wir einen neuartigen Ansatz zur Daten-Augmentation (DA), namens EdgePredictMix, der die Kanten eines Objekts durch Ausnutzung der Wahrscheinlichkeitsdifferenzinformation zwischen benachbarten Pixeln bei der Kombination der Segmentierungsergebnisse weiter verbessert und somit die Mängel kompensiert, die sich bei der Anwendung bestehender DA-Methoden auf WSSS ergeben. Wir erreichten neue SOTA-Leistungen sowohl auf den Benchmarks PASCAL VOC 2012 als auch MS COCO 2014 (VOC val: 74,4 %, COCO val: 46,4 %). Der Quellcode ist unter https://github.com/shjo-april/RecurSeed_and_EdgePredictMix verfügbar.