Mehraufgaben-Fusion für effiziente panoptische Part-Segmentierung

In dieser Arbeit stellen wir ein neues Netzwerk vor, das semantische, instanzbasierte und teilbasierte Segmentierung mit einem gemeinsamen Encoder generiert und diese effektiv fusioniert, um eine panoptische Teilsegmentierung zu erreichen. Die Vereinigung dieser drei Segmentierungsprobleme ermöglicht eine gegenseitig verbesserte und konsistente Repräsentationslernung. Um die Vorhersagen aller drei Heads effizient zu fusionieren, führen wir ein parametersfreies Joint Fusion Modul ein, das die Logits dynamisch ausgewichtet und sie fusioniert, um eine panoptische Teilsegmentierung zu erstellen. Unsere Methode wird auf den Datensätzen Cityscapes Panoptic Parts (CPP) und Pascal Panoptic Parts (PPP) evaluiert. Für CPP übertrifft der PartPQ unser vorgeschlagenes Modell mit Joint Fusion den bisherigen Stand der Technik um 1,6 und 4,7 Prozentpunkte für alle Bereiche und Segmente mit Teilen, jeweils. Auf PPP übertrifft unsere Joint Fusion eine Modellarchitektur, die die bisherige Top-Down-Vergabestrategie verwendet, um 3,3 Prozentpunkte im PartPQ und 10,5 Prozentpunkte im PartPQ für teilbare Klassen.