SpatialFlow: Alle Aufgaben für die Panoptic Segmentation verbinden

Die Objektlokalisierung ist grundlegend für die Panoptic-Segmentierung, da sie mit allen „Things“ und „Stuff“ in der Bildszene verknüpft ist. Die Kenntnis der Objektpositionen liefert wertvolle Hinweise für die Segmentierung und unterstützt das Netzwerk dabei, die Szenenlage besser zu verstehen. Die Integration der Objektlokalisierung sowohl in die Segmentierung von „Things“ als auch von „Stuff“ stellt eine zentrale Herausforderung dar. In diesem Artikel schlagen wir sogenannte räumliche Informationsflüsse vor, um dieses Ziel zu erreichen. Diese Flüsse verbinden alle Teil-Aufgaben der Panoptic-Segmentierung, indem sie den räumlichen Kontext der Objekte von der Box-Regression-Aufgabe zu den anderen Aufgaben übertragen. Insbesondere entwerfen wir vier parallele Sub-Netzwerke, um eine optimale Anpassung der räumlichen Objektinformationen in den jeweiligen Teil-Aufgaben zu gewährleisten. Auf Basis dieser Sub-Netzwerke und der Informationsflüsse präsentieren wir einen ortsbewussten und einheitlichen Rahmen für die Panoptic-Segmentierung, der als SpatialFlow bezeichnet wird. Wir führen eine detaillierte Ablationsstudie für jedes Komponente durch und führen umfangreiche Experimente durch, um die Wirksamkeit von SpatialFlow zu belegen. Zudem erzielen wir state-of-the-art Ergebnisse mit 47,9 PQ auf dem MS-COCO- und 62,5 PQ auf dem Cityscapes-Panoptic-Benchmark. Der Quellcode wird unter https://github.com/chensnathan/SpatialFlow verfügbar sein.