Semisupervisierte semantische Segmentierung mit pixelweitem kontrastivem Lernen aus einem klassenbasierten Speicherbank

Diese Arbeit präsentiert einen neuartigen Ansatz für semi-supervised semantische Segmentierung. Der zentrale Bestandteil dieses Ansatzes ist unser kontrastiver Lernmodul, das das Segmentierungsnetzwerk dazu zwingt, ähnliche pixelweise Merkmalsdarstellungen für Proben derselben Klasse über den gesamten Datensatz hinweg zu erzeugen. Um dies zu erreichen, pflegen wir eine Speicherbank, die kontinuierlich mit relevanten und hochwertigen Merkmalsvektoren aus gelabelten Daten aktualisiert wird. Im end-to-end-Trainingsprozess werden sowohl die Merkmale aus gelabelten als auch aus ungelabelten Daten optimiert, um ähnlich zu Proben derselben Klasse aus der Speicherbank zu sein. Unser Ansatz übertrifft die derzeitige State-of-the-Art für semi-supervised semantische Segmentierung sowie semi-supervised Domain Adaptation auf bekannten öffentlichen Benchmarks, wobei die Verbesserungen insbesondere in den anspruchsvollsten Szenarien, also bei geringer verfügbarer gelabelter Datenmenge, besonders groß sind. https://github.com/Shathe/SemiSeg-Contrastive