Parsing R-CNN für die instanzbasierte Analyse von Menschen

Die instanzbasierte menschliche Analyse ist in realen Szenarien weit verbreitet und hat verschiedene Manifestationen, wie zum Beispiel die Segmentierung von menschlichen Körperteilen, die dichte Pose-Schätzung und Interaktionen zwischen Mensch und Objekt. Modelle müssen in der Lage sein, verschiedene menschliche Instanzen im Bildbereich zu unterscheiden und reichhaltige Merkmale zu lernen, um die Details jeder Instanz darzustellen. In dieser Arbeit präsentieren wir einen end-to-end Prozess zur Lösung der instanzbasierten menschlichen Analyse, den wir Parsing R-CNN nennen. Dieser verarbeitet eine Reihe von menschlichen Instanzen gleichzeitig, indem er sowohl die Eigenschaften des regionsbasierten Ansatzes als auch das Erscheinungsbild eines Menschen umfassend berücksichtigt. Dadurch ist es möglich, die Details der Instanzen darzustellen. Parsing R-CNN ist sehr flexibel und effizient und kann auf viele Fragen der instanzbasierten menschlichen Analyse angewendet werden. Unser Ansatz übertrifft alle bisherigen Methoden auf den CIHP (Crowd Instance-level Human Parsing), MHP v2.0 (Multi-Human Parsing) und DensePose-COCO Datensätzen. Auf Basis des vorgeschlagenen Parsing R-CNN erreichen wir den ersten Platz im COCO 2018 Challenge Task zur dichten Pose-Schätzung. Der Code und die Modelle sind öffentlich verfügbar.