ISIM: Iterative Self-Improved Model für schwach überwachte Segmentierung

Schwach beschriftete semantische Segmentierung (Weakly Supervised Semantic Segmentation, WSSS) ist eine herausfordernde Aufgabe, die darauf abzielt, Segmentierungsetiketten aus Klassenlabels zu lernen. In der Literatur wird häufig die Ausnutzung von Informationen aus Class Activation Maps (CAMs) für WSSS-Studien genutzt. Allerdings basieren CAMs auf einem Klassifikationsnetzwerk und konzentrieren sich auf die diskriminativsten Teile der Objekte, wodurch nur unvollständige Vorinformationen für Segmentierungsaufgaben bereitgestellt werden. In dieser Arbeit schlagen wir einen Ansatz vor, der ein iteratives Verfahren in einem modifizierten Encoder-Decoder-basierten Segmentierungsmodell einsetzt, das gleichzeitig Klassifikations- und Segmentierungsaufgaben unterstützt. Da keine Ground-Truth-Segmentierungsetiketten vorliegen, erzeugt dasselbe Modell mit Hilfe dichter bedingter zufälliger Felder (dense Conditional Random Fields, dCRF) Pseudosegmentierungsetiketten. Dadurch entsteht ein iterativ selbstverbessernder Modellrahmen. Experimente mit den Modellen DeepLabv3 und UNet zeigen eine erhebliche Verbesserung auf dem Pascal VOC12-Datensatz, wobei die Anwendung von DeepLabv3 die aktuelle State-of-the-Art-Metrik um 2,5 % steigert. Die Implementierung der durchgeführten Experimente ist verfügbar unter: https://github.com/cenkbircanoglu/isim.