SFC: Shared Feature Calibration in Weakly Supervised Semantic Segmentation

Bildbasierte schwach überwachte semantische Segmentierung hat aufgrund ihrer geringen Anmerkungskosten zunehmende Aufmerksamkeit erhalten. Bestehende Methoden stützen sich hauptsächlich auf die Class Activation Mapping (CAM), um Pseudolabels für das Training semantischer Segmentierungsmodelle zu generieren. In dieser Arbeit zeigen wir erstmals, dass eine langgezogene (long-tailed) Verteilung der Trainingsdaten dazu führen kann, dass die durch Klassifizierer-Gewichte berechnete CAM für Kopf-Klassen überaktiviert und für Schwanz-Klassen unteraktiviert ist, bedingt durch gemeinsame Merkmale zwischen Kopf- und Schwanz-Klassen. Dies verschlechtert die Qualität der Pseudolabels und beeinträchtigt anschließend die endgültige Leistung der semantischen Segmentierung. Um dieses Problem anzugehen, schlagen wir eine Methode zur Kalibrierung gemeinsamer Merkmale (Shared Feature Calibration, SFC) zur Generierung von CAM vor. Konkret nutzen wir Klassenprototypen, die positive gemeinsame Merkmale tragen, und schlagen eine Multi-Skalige Verteilungs-gewichtete (Multi-Scaled Distribution-Weighted, MSDW) Konsistenzverlustfunktion vor, um die Lücke zwischen den durch Klassifizierer-Gewichte und Klassenprototypen generierten CAMs während des Trainings zu verkleinern. Der MSDW-Verlust kompensiert Über- und Unteraktivierung, indem er die gemeinsamen Merkmale in den Klassifizierer-Gewichten der Kopf- und Schwanz-Klassen kalibriert. Experimentelle Ergebnisse zeigen, dass unsere SFC die CAM-Grenzen erheblich verbessert und neue State-of-the-Art-Leistungen erzielt. Das Projekt ist unter https://github.com/Barrett-python/SFC verfügbar.