CW-BASS: Confidence-Weighted Boundary-Aware Learning für semi-supervised Semantic Segmentation

Semi-supervisedes semantisches Segmentieren (SSSS) zielt darauf ab, die Segmentierungspfleistung durch die Nutzung großer Mengen an unlabeled Daten bei begrenzten gelabelten Proben zu verbessern. Bestehende Methoden leiden häufig unter Kopplung, bei der eine übermäßige Abhängigkeit von den ursprünglichen gelabelten Daten zu suboptimaler Lernleistung führt; Bestätigungsverzerrung, bei der falsche Vorhersagen sich wiederholt verstärken; sowie Randverschwommenheit, verursacht durch geringe Randbewusstheit und mehrdeutige Randinformationen. Um diese Probleme anzugehen, stellen wir CW-BASS, einen neuartigen Rahmen für SSSS, vor. Um die Auswirkungen falscher Vorhersagen zu verringern, weisen wir den Pseudolabels Vertrauensgewichte zu. Zudem nutzen wir Randabgrenzungstechniken, die zwar umfassend in weakly-supervised semantischem Segmentieren (WSSS) erforscht wurden, in SSSS jedoch nach wie vor untergenutzt sind. Konkret ermöglicht unsere Methode: (1) die Reduzierung von Kopplung durch eine vertrauensgewichtete Verlustfunktion, die den Einfluss von Pseudolabels basierend auf deren vorhergesagten Vertrauenswerten anpasst; (2) die Minderung von Bestätigungsverzerrung mittels eines dynamischen Schwellenwertmechanismus, der lernt, Pseudolabels auf Basis der Modellleistung zu filtern; (3) die Behandlung von Randverschwommenheit durch ein randbewusstes Modul zur Feinabstimmung der Segmentierung in der Nähe von Objektrandbereichen; und (4) die Reduktion von Label-Rauschen durch eine Vertrauensabklingstrategie, die die Pseudolabels während des Trainings schrittweise verfeinert. Umfangreiche Experimente auf Pascal VOC 2012 und Cityscapes zeigen, dass CW-BASS eine state-of-the-art-Leistung erzielt. Insbesondere erreicht CW-BASS auf Cityscapes bei einer herausfordernden und bisher wenig erforschten Aufteilung von 1/30 (3,3 %; 100 Bilder) eine mIoU von 65,9 %, was seine Wirksamkeit in Szenarien mit sehr wenigen Labels unterstreicht. Unser Code ist unter https://github.com/psychofict/CW-BASS verfügbar.