Semi-supervisedes semantisches Segmentieren mit hoch- und niedrigstufiger Konsistenz

Die Fähigkeit, visuelle Informationen aus begrenzt annotierten Daten zu verstehen, ist ein wichtiger Aspekt des maschinellen Lernens. Während die bildbasierte Klassifizierung in einem semiaufgeklärten Setting bereits intensiv untersucht wurde, hat sich die dichte Pixel-Klassifizierung mit begrenzten Daten erst kürzlich in den Fokus gerückt. In dieser Arbeit schlagen wir einen Ansatz für semiaufgeklärte semantische Segmentierung vor, der von begrenzt pixelweise annotierten Stichproben lernt und gleichzeitig zusätzliche unannotierte Bilder nutzt. Es verwendet zwei Netzwerkzweige, die semiaufgeklärte Klassifizierung mit semiaufgeklärter Segmentierung verbinden, einschließlich Selbsttrainings (self-training). Der Dual-Branch-Ansatz reduziert sowohl die typischen Niedrig-Level- als auch Hoch-Level-Artefakte, die bei der Ausbildung mit wenigen Labels üblich sind. Der Ansatz erzielt eine signifikante Verbesserung gegenüber bestehenden Methoden, insbesondere wenn er mit sehr wenigen annotierten Stichproben trainiert wird. Auf mehreren Standard-Benchmarks – PASCAL VOC 2012, PASCAL-Context und Cityscapes – erreicht der Ansatz neue Standesbestimmungen (state-of-the-art) im Bereich des semiaufgeklärten Lernens.