Ableitung der klassenbedingten Antwortkarte für schwach überwachte semantische Segmentierung

Bildbasierte schwach überwachte semantische Segmentierung (WSSS) stützt sich auf Klassifikationsaktivierungskarten (CAMs) zur Generierung von Pseudolabels. Da CAMs lediglich die diskriminativsten Regionen von Objekten hervorheben, sind die daraus resultierenden Pseudolabels meist unzureichend, um direkt als Überwachungssignal zu dienen. Um dieses Problem zu lösen, verfolgen die meisten bestehenden Ansätze einen mehrstufigen Trainingspipeline-Ansatz zur Verbesserung der CAMs für qualitativ hochwertigere Pseudolabels, der folgende Schritte umfasst: 1) erneutes Trainieren des Klassifikationsmodells zur Generierung von CAMs; 2) Nachbearbeitung der CAMs zur Erzeugung von Pseudolabels; und 3) Training eines semantischen Segmentierungsmodells unter Verwendung der erhaltenen Pseudolabels. Diese mehrstufige Pipeline erfordert jedoch komplexe Abstimmung und zusätzliche Trainingszeit. Um dies zu überwinden, schlagen wir eine klassenbedingte Inferenzstrategie sowie eine activationsbewusste Maskenverfeinerungsverlustfunktion vor, die es ermöglichen, verbesserte Pseudolabels ohne erneutes Trainieren des Klassifikators zu generieren. Die vorgeschlagene klassenbedingte Inferenzzeit-Strategie ermöglicht es, iterativ und getrennt die versteckten Objektaktivierungen des Klassifikationsnetzwerks zu offenbaren, um vollständigere Aktivierungskarten zu erzeugen. Darüber hinaus führt unsere activationsbewusste Maskenverfeinerungsverlustfunktion eine neuartige Methode zur Nutzung von Aufmerksamkeitskarten während des Segmentierungstrainings ein und verfeinert die Vordergrundmasken, ohne die Hintergrundobjekte zu unterdrücken. Unser Ansatz erreicht überlegene Ergebnisse in der WSSS, ohne dass ein erneutes Trainieren des Klassifikators erforderlich ist.