UPSNet: Ein vereintes Panoptisches Segmentierungsnetzwerk

In dieser Arbeit schlagen wir ein vereinheitlichtes panoramisches Segmentierungsnetzwerk (UPSNet) vor, um die neu eingeführte Aufgabe der panoramischen Segmentierung zu lösen. Auf Basis eines einzelnen Rückgrebnetzwerks (backbone residual network) entwerfen wir zunächst einen semantischen Segmentierungshead, der auf deformierbaren Faltungen basiert, und einen instanzbasierten Segmentierungshead im Stil von Mask R-CNN, die diese beiden Teilprobleme gleichzeitig lösen. Von größerer Bedeutung ist jedoch die Einführung eines parametrierungsfreien panoptischen Heads, der die panoramische Segmentierung durch pixelweise Klassifikation ermöglicht. Er nutzt zunächst die Logits aus den beiden vorigen Heads und erweitert dann innovativ die Darstellung, um eine zusätzliche unbekannte Klasse vorhersagen zu können, was dazu beiträgt, Konflikte zwischen semantischer und instanzbasierter Segmentierung besser zu lösen. Zudem bewältigt er die Herausforderung der variablen Anzahl von Instanzen und ermöglicht das Backpropagation bis zu den unteren Modulen in einem end-to-end Prozess. Ausführliche experimentelle Ergebnisse auf Cityscapes, COCO und unserem internen Datensatz zeigen, dass unser UPSNet den Stand der Technik bei weitem übertrifft und gleichzeitig eine viel schnellere Inferenz bietet. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/uber-research/UPSNet