Schwach beschriftete semantische Segmentierung durch Pixel-zu-Prototyp-Kontrast

Obwohl die bildbasierte schwach überwachte semantische Segmentierung (WSSS) mit den Klassifikationsaktivierungskarten (CAMs) als Eckpfeiler erhebliche Fortschritte erzielt hat, bleibt die große Überwachungslücke zwischen Klassifikation und Segmentierung ein Hindernis dafür, präzisere und vollständigere Pseudomaske für die Segmentierung zu generieren. In dieser Studie schlagen wir eine schwach überwachte Pixel-zu-Prototyp-Kontrastierung vor, die pixelbasierte Überwachungssignale bereitstellt, um diese Lücke zu verkleinern. Unser Ansatz basiert auf zwei intuitiven Vorkenntnissen und wird sowohl über verschiedene Ansichten hinweg als auch innerhalb jeder einzelnen Ansicht eines Bildes durchgeführt, um eine konsistente semantische Merkmalsausrichtung über Ansichten hinweg zu fördern und die Kompaktheit (Zerstreuung) innerhalb (zwischen) der Klassen im Merkmalsraum zu unterstützen. Unser Verfahren kann nahtlos in bestehende WSSS-Modelle integriert werden, ohne dass die Basis-Netzwerke verändert werden müssen, und verursacht keine zusätzlichen Aufwände bei der Inferenz. Umfangreiche Experimente zeigen, dass unser Ansatz zwei starke Baseline-Modelle signifikant verbessert und somit seine Wirksamkeit belegt. Insbesondere aufbauend auf SEAM steigern wir die anfängliche Seed-mIoU auf PASCAL VOC 2012 von 55,4 % auf 61,5 %. Darüber hinaus erhöhen wir mit unserem Ansatz die Segmentierungs-mIoU von EPS von 70,8 % auf 73,6 % und erreichen damit eine neue state-of-the-art-Leistung.