Vollständig konvolutionelle Netzwerke für die Panoptische Segmentierung

In diesem Paper präsentieren wir einen konzeptionell einfachen, starken und effizienten Ansatz für die Panoptic-Segmentierung, namens Panoptic FCN. Unser Ansatz zielt darauf ab, vordere Objekte (things) und Hintergrundkategorien (stuff) in einer einheitlichen vollständig konvolutionellen Pipeline darzustellen und vorherzusagen. Insbesondere kodiert Panoptic FCN jedes Objekt-Instanz oder jede Stuff-Kategorie mittels eines vorgeschlagenen Kernel-Generators in einen spezifischen Kernel-Gewichtsvektor und erzeugt die Vorhersage durch direkte Faltung der hochauflösenden Merkmale. Auf diese Weise können die instanzbewussten und semantisch konsistenten Eigenschaften für Dinge und Hintergrund in einem einfachen Workflow aus „Kernel generieren – dann segmentieren“ jeweils effizient erfüllt werden. Ohne zusätzliche Bounding-Boxes zur Lokalisierung oder zur Trennung von Instanzen erreicht der vorgeschlagene Ansatz eine überlegene Leistung gegenüber früheren box-basierten und box-freien Modellen mit hoher Effizienz auf den Datensätzen COCO, Cityscapes und Mapillary Vistas bei Verwendung eines einzigen Skaleneingabewerts. Der Quellcode ist öffentlich unter https://github.com/Jia-Research-Lab/PanopticFCN verfügbar.