Gemeinsame Mehrpersonen-Pose-Schätzung und semantische Körperteilsegmentierung

Die Schätzung der menschlichen Körperhaltung und die semantische Segmentierung von Körperteilen sind zwei ergänzende Aufgaben im Bereich der Computer Vision. In dieser Arbeit schlagen wir vor, diese beiden Aufgaben für natürliche Bilder mit mehreren Personen gemeinsam zu lösen. Dabei dient die geschätzte Körperhaltung als objektbezogene Formvorhersage, um die Segmentierung der Körperteile zu regulieren, während die segmentierten Körperteile die Variation der Positionen der Körperhaltungen einschränken. Speziell trainieren wir zunächst zwei vollständig konvolutive Neuronale Netze (FCNs), nämlich Pose FCN und Part FCN, um eine anfängliche Schätzung des Potenzials von Körpergelenken und semantischen Körperteilen zu liefern. Anschließend wird das Potential der Gelenkpositionen durch eine vollständig vernetzte bedingte Markow-Zufallsfeld (FCRF) verfeinert, wobei ein neuartiger Segment-Gelenk-Glättungsterm verwendet wird, um semantische und räumliche Konsistenz zwischen den Teilen und den Gelenken zu fördern. Um die Segmentierung der Körperteile zu verfeinern, werden das verfeinerte Pose-Modell und das ursprüngliche Potential der Körperteile durch einen Part FCN integriert, wobei das Skelettfeature aus der Pose als zusätzlicher Regularisierungsansatz für die Segmentierung der Körperteile dient.Schließlich reduzieren wir die Komplexität des FCRF, indem wir menschliche Detektionsboxen induzieren und den Graphen innerhalb jeder Box inferieren, was die Inferenzzeit um ein Vielfaches beschleunigt – speziell vierzig Mal schneller.Da es keinen Datensatz gibt, der sowohl segmentierte Körperteile als auch Pose-Labels enthält, erweitern wir den PASCAL VOC-Teil-Datensatz um menschliche Pose-Gelenke und führen umfangreiche Experimente durch, um unsere Methode mit mehreren aktuellen Strategien zu vergleichen. Wir zeigen, dass unser Algorithmus auf diesem Datensatz in beiden Aufgaben deutlich überlegen ist gegenüber den konkurrierenden Methoden.