CorrMatch: Label Propagation durch Korrelationsanpassung für semi-supervised semantische Segmentierung

Diese Arbeit präsentiert einen einfachen, jedoch leistungsstarken semi-supervised Ansatz für die semantische Segmentierung namens CorrMatch. Bisherige Ansätze setzen meist auf komplexe Trainingsstrategien, um unbeschriftete Daten zu nutzen, und vernachlässigen dabei die Rolle von Korrelationskarten zur Modellierung der Beziehungen zwischen Paaren von Ortspositionen. Wir beobachten, dass Korrelationskarten nicht nur eine einfache Clusterung von Pixeln derselben Kategorie ermöglichen, sondern auch wertvolle Forminformationen enthalten, die in früheren Arbeiten übersehen wurden. Ausgehend davon zielen wir darauf ab, die Nutzung unbeschrifteter Daten zu verbessern, indem wir zwei neuartige Strategien zur Label-Propagation entwerfen. Erstens schlagen wir vor, die Pixel-Propagation durch Modellierung der paarweisen Ähnlichkeiten zwischen Pixeln durchzuführen, um hochzuverlässige Pixel zu verbreiten und weitere zu identifizieren. Zweitens führen wir eine Region-Propagation durch, um die Pseudolabels mit genauen, klassenunabhängigen Masken zu verbessern, die aus den Korrelationskarten extrahiert werden. CorrMatch erreicht herausragende Ergebnisse auf etablierten Segmentierungsbenchmarks. Bei Verwendung des DeepLabV3+ mit ResNet-101 als Backbone erzielen wir auf dem Pascal VOC 2012-Datensatz eine mIoU von über 76 %, wobei lediglich 92 annotierte Bilder verwendet werden. Der Quellcode ist unter https://github.com/BBBBchan/CorrMatch verfügbar.