Freigabe des Potenzials gewöhnlicher Klassifizierer: Ein klassenspezifisches adversariales Löschen-Rahmenwerk für schwach überwachte semantische Segmentierung

Schwach beschriftete semantische Segmentierung (WSSS) unter Verwendung von Bild-Level-Klassifizierungsetiketten nutzt in der Regel Class Activation Maps (CAMs), um Objekte von Interesse in Bildern zu lokalisieren. Während festgestellt wurde, dass CAMs lediglich die diskriminativsten Regionen der Klassen von Interesse hervorheben, wurden adversive Auslöschungsverfahren (AE) vorgeschlagen, um auch weniger diskriminative Regionen weiter zu erforschen. In diesem Paper untersuchen wir das Potenzial eines vortrainierten Klassifikators, der auf rohen Bildern trainiert wurde. Experimentell bestätigen wir, dass ein herkömmlicher Klassifikator bereits die Fähigkeit besitzt, auch weniger diskriminative Regionen zu aktivieren, sofern die höchst diskriminativen Regionen teilweise entfernt werden. Auf dieser Grundlage schlagen wir einen klassenspezifischen AE-basierten Rahmen vor, der das volle Potenzial eines herkömmlichen Klassifikators voll ausschöpft. Unser Framework (1) nutzt den herkömmlichen Klassifikator, um die zu löschenden Regionen zu identifizieren, und (2) generiert eine klassenspezifische Maske zur Löschung, indem zufällig eine einzelne spezifische Klasse (Zielklasse) aus den bereits im Bild vorhandenen Klassen ausgewählt und gelöscht wird, um präzisere CAMs zu erzielen. Insbesondere wird der vorgeschlagene CAM-Generierungsnetzwerk (CGNet) durch den herkömmlichen Klassifikator dazu angeleitet, eine CAM für die Zielklasse zu erzeugen, während gleichzeitig sichergestellt wird, dass die CAM keine Regionen anderer Klassen beeinträchtigt. In Kombination mit den aus unseren CAMs verfeinerten Pseudolabels erreichen wir die bisher beste WSSS-Leistung sowohl auf dem PASCAL VOC 2012- als auch auf dem MS-COCO-Datensatz – und zwar ausschließlich unter Verwendung von Bild-Level-Supervision. Der Quellcode ist unter https://github.com/KAIST-vilab/OC-CSE verfügbar.