Kontextkodierung für semantische Segmentierung

Neuere Arbeiten haben erhebliche Fortschritte bei der Verbesserung der räumlichen Auflösung für pixelweise Beschriftungen mit dem Fully Convolutional Network (FCN)-Framework erzielt, indem sie dilatierte/Atrous-Konvolutionen einsetzen, mehrskalige Merkmale nutzen und Ränder verfeinern. In dieser Arbeit untersuchen wir den Einfluss von globalen kontextuellen Informationen in der semantischen Segmentierung durch die Einführung des Context Encoding Modules, der den semantischen Kontext von Szenen erfassen und klassenabhängige Featuremaps selektiv hervorheben kann. Der vorgeschlagene Context Encoding Module verbessert die Ergebnisse der semantischen Segmentierung erheblich, wobei der zusätzliche Rechenaufwand gegenüber FCN nur marginal ist. Unser Ansatz hat neue Standder-der-Technik-Ergebnisse auf PASCAL-Context (51,7% mIoU) und PASCAL VOC 2012 (85,9% mIoU) erzielt. Unser einzelnes Modell erreicht einen Endwert von 0,5567 auf dem ADE20K-Testdatensatz, was das Gewinner-Einreichungsstück des COCO-Place-Challenges im Jahr 2017 übertrifft. Darüber hinaus untersuchen wir auch, wie der Context Encoding Module die Merkmalsrepräsentation relativ flacher Netze für die Bildklassifikation am CIFAR-10-Datensatz verbessern kann. Unser Netzwerk mit 14 Schichten erreicht eine Fehlerrate von 3,45%, was vergleichbar ist mit Standder-der-Technik-Ansätzen, die über zehnmal mehr Schichten haben. Der Quellcode für das vollständige System ist öffentlich verfügbar.