Video-Panoptische Segmentierung

Die panoptische Segmentierung ist zu einem neuen Standard der visuellen Erkennung geworden, indem sie die bisherigen semantische Segmentierung und instanzbasierte Segmentierung in Einklang bringt. In dieser Arbeit schlagen wir eine neue Videoerweiterung dieser Aufgabe vor, die als Video-Panoptische-Segmentierung bezeichnet wird. Diese Aufgabe erfordert die Generierung konsistenter panoptischer Segmentierungen sowie die Zuordnung von Instanz-IDs über Videobilder hinweg. Um Forschung auf diesem neuen Gebiet zu fördern, präsentieren wir zwei Arten von Video-Panoptik-Datensätzen. Der erste Datensatz ist eine Neuorganisation des synthetischen VIPER-Datensatzes im Format der Video-Panoptischen-Segmentierung, um seine umfangreichen Pixelannotations auszunutzen. Der zweite Datensatz ist eine zeitliche Erweiterung des Cityscapes-Val.-Datensatzes durch Bereitstellung neuer Video-Panoptik-Annotations (Cityscapes-VPS). Darüber hinaus schlagen wir ein neues Video-Panoptik-Segmentierungsnetzwerk (VPSNet) vor, das Klassen von Objekten, Begrenzungsrahmen, Masken, die Verfolgung von Instanz-IDs und die semantische Segmentierung in Videobildern gemeinsam vorhersagt. Um geeignete Metriken für diese Aufgabe bereitzustellen, schlagen wir eine Metrik für die Video-Panoptische-Qualität (VPQ) vor und evaluieren unsere Methode sowie mehrere Baseline-Methoden. Die experimentellen Ergebnisse zeigen die Effektivität der vorgestellten beiden Datensätze. Wir erreichen den aktuellen Stand der Technik in Bezug auf das Bild-PQ auf Cityscapes und auch bezüglich des VPQ auf den Cityscapes-VPS- und VIPER-Datensätzen. Die Datensätze und der Code werden öffentlich zur Verfügung gestellt.