Fein granularer Hintergrundrepräsentation für schwach überwachte semantische Segmentierung
Die Generierung zuverlässiger Pseudomaschen aus bildbasierten Labels stellt eine Herausforderung im Task der schwach überwachten semantischen Segmentierung (WSSS) dar, aufgrund des Mangels an räumlicher Information. Gängige Lösungen, die auf Klassenaktivierungskarten (CAM) basieren, haben Schwierigkeiten, Vordergrundobjekte (FG) von misstrauenswürdigen Hintergrundpixeln (BG) (auch als ko-auftretend bekannt) zu unterscheiden und die gesamten Objektregionen zu lernen. In dieser Arbeit wird eine einfache feingranulare Hintergrundrepräsentationsmethode (FBR) vorgeschlagen, um vielfältige BG-Semantiken zu entdecken und darzustellen sowie die Probleme des Ko-Auftretens anzugehen. Wir verzichten auf die Verwendung von Klassenprototypen oder pixelbasierten Features für die Hintergrundrepräsentation. Stattdessen entwickeln wir ein neues Primitiv, den negativen Region-of-Interest-Bereich (NROI), um feingranulierte Hintergrundsemantikinformationen zu erfassen und einen Kontrast zwischen Pixeln und NROIs durchzuführen, um verwirrende Hintergrundpixel zu unterscheiden. Zudem stellen wir eine aktive Abtaststrategie vor, um FG-Negatives dynamisch abzubauen. Dies ermöglicht effizientes pixelbasiertes Kontrastlernverfahren innerhalb des Vordergrunds zur Aktivierung der gesamten Objektregion. Dank der Einfachheit des Designs und der Benutzerfreundlichkeit kann unsere vorgeschlagene Methode nahtlos in verschiedene Modelle integriert werden und führt unter verschiedenen WSSS-Einstellungen in Benchmarks zu neuen Spitzenwerten. Indem wir ausschließlich bildbasierte (I) Labels als Supervision nutzen, erreicht unsere Methode Segmentationsergebnisse von 73,2 mIoU und 45,6 mIoU auf den Testsets von Pascal Voc und MS COCO respektive. Darüber hinaus gelangen wir durch die Einbeziehung von Saliencymaps als zusätzliches Supervisionsignal (I+S) zu einem Ergebnis von 74,9 mIoU auf dem Pascal Voc Testset. Parallel dazu zeigt unser FBR-Ansatz bedeutende Leistungssteigerungen bei schwach überwachten Instanzsegmentierungsaufgaben (WSIS), was seine Robustheit und starke Generalisierungsfähigkeiten in verschiedenen Domains unterstreicht.