PoSeg: Pose-aware Refinement Network für die Human Instance Segmentation

Die menschliche Instanzsegmentierung ist ein zentrales Problem für die menschenorientierte Szenenverstehens und stellt aufgrund großer innerhalb-klasse-Variationen in Erscheinung und Gestalt sowie komplizierter Überdeckungsmuster eine besondere Herausforderung für visuelle Systeme dar. In diesem Artikel stellen wir eine neue, posebewusste Methode zur menschlichen Instanzsegmentierung vor. Im Gegensatz zu früheren posebewussten Ansätzen, die zunächst bottom-up Pose-Schätzungen vornehmen und anschließend die Instanzsegmentierung auf Basis dieser geschätzten Poses berechnen, integriert unsere Methode sowohl top-down- als auch bottom-up-Informationen für jede Instanz: Sie nutzt Detektionsergebnisse als menschliche Vorschläge und schätzt gemeinsam die menschliche Pose und die Instanzsegmentierung für jeden Vorschlag. Wir entwickeln ein modulares rekurrentes tiefes Netzwerk, das die Pose-Schätzung nutzt, um die Instanzsegmentierung iterativ zu verfeinern. Unsere Verfeinerungsmoduln nutzen Pose-Informationen auf zwei Ebenen: als groben Formvorwissen und als lokale Teil-Attention. Wir evaluieren unsere Methode auf zwei öffentlichen Benchmarks für mehrere Personen: dem OCHuman-Datensatz und dem COCOPersons-Datensatz. Die vorgeschlagene Methode erreicht auf dem OCHuman-Datensatz eine Verbesserung gegenüber den besten bisherigen Methoden um 3,0 mAP und auf dem COCOPersons-Datensatz um 6,4 mAP, was die Wirksamkeit unseres Ansatzes eindrucksvoll belegt.