Semisupervisede semantische Segmentierung mittels marginaler kontextueller Information

Wir präsentieren ein neuartiges Verfahren zur Verbesserung der Zuverlässigkeit von Pseudolabels für semi-supervised semantische Segmentierung. Im Gegensatz zu bestehenden Ansätzen, die Pixel mit geringer Zuverlässigkeit isoliert filtern, nutzt unsere Methode die räumliche Korrelation der Label in Segmentierungskarten, indem benachbarte Pixel gruppiert und ihre Pseudolabels gemeinsam betrachtet werden. Durch die Ausnutzung dieser kontextuellen Information erhöht unsere Methode, S4MC genannt, die Menge an unlabeled Daten, die während des Trainings genutzt wird, ohne die Qualität der Pseudolabels zu beeinträchtigen – und das mit vernachlässigbarem zusätzlichen Rechenaufwand. Anhand umfangreicher Experimente auf Standardbenchmarks zeigen wir, dass S4MC bestehende state-of-the-art-Methoden in semi-supervised Lernansätzen übertrifft und somit eine vielversprechende Lösung für die Reduzierung der Kosten bei der Erzeugung dichter Annotationen darstellt. So erreicht S4MC beispielsweise eine Verbesserung um 1,39 mIoU gegenüber dem vorherigen Stand der Technik auf PASCAL VOC 12 mit nur 366 annotierten Bildern. Der Quellcode zur Reproduktion unserer Experimente ist unter https://s4mcontext.github.io/ verfügbar.