Faltungsmerkmalsmaskierung für die gemeinsame Segmentierung von Objekten und Hintergrund

Das Thema semantische Segmentierung hat dank der leistungsfähigen Merkmale, die von Faltungsneuronalen Netzen (CNNs) gelernt werden, erhebliche Fortschritte gemacht. Die aktuellen führenden Ansätze für die semantische Segmentierung nutzen Forminformationen, indem sie CNN-Merkmale aus maskierten Bildbereichen extrahieren. Diese Strategie führt künstliche Grenzen in den Bildern ein und kann die Qualität der extrahierten Merkmale beeinträchtigen. Darüber hinaus erfordern Operationen im Rohbildbereich das Berechnen von Tausenden von Netzwerken für ein einzelnes Bild, was zeitaufwendig ist. In dieser Arbeit schlagen wir vor, Forminformationen durch Maskierung der faltungsbezogenen Merkmale zu nutzen. Die Vorschlagssegmente (z.B. Superpixel) werden als Masken auf den faltungsbezogenen Merkmalsskalierungen behandelt. Die CNN-Merkmale der Segmente werden direkt aus diesen Skalierungen maskiert und zur Schulung von Klassifizierern für die Erkennung verwendet. Wir schlagen außerdem eine gemeinsame Methode vor, um Objekte und "Stoff" (z.B. Gras, Himmel, Wasser) im selben Rahmen zu verarbeiten. Auf Benchmarks des PASCAL VOC und des neuen PASCAL-CONTEXT werden Stand-der-Technik-Ergebnisse mit einer überzeugenden Rechengeschwindigkeit demonstriert.