Bootstrapping der semantischen Segmentierung mit regionaler Kontrastierung

Wir stellen ReCo vor, einen kontrastiven Lernrahmen, der auf regionaler Ebene entworfen wurde, um das Lernen bei der semantischen Segmentierung zu unterstützen. ReCo führt semi-supervised oder supervised pixelweise kontrastive Lernverfahren auf einer spärlichen Menge harter negativer Pixel durch, wobei nur ein minimaler zusätzlicher Speicherbedarf entsteht. ReCo ist einfach zu implementieren, da es auf etablierten Segmentierungsnetzwerken aufbaut, und verbessert konsistent die Leistung sowohl bei semi-supervised als auch bei supervised semantischen Segmentierungsverfahren, wobei glattere Segmentierungsgrenzen und schnellere Konvergenz erzielt werden. Der stärkste Effekt zeigt sich bei semi-supervised Lernverfahren mit nur sehr wenigen Labels. Mit ReCo erreichen wir hochwertige Modelle für semantische Segmentierung, die lediglich fünf Beispiele pro semantische Klasse erfordern. Der Quellcode ist unter https://github.com/lorenmt/reco verfügbar.