Multi-Skalige Struktur-bewusste Netzwerk für die Schätzung der menschlichen Pose

Wir entwickeln ein robustes, mehrskaliges strukturbewusstes neuronales Netzwerk für die Schätzungen der menschlichen Körperhaltung. Diese Methode verbessert die jüngsten tiefen Konv-Dekonv-Stundenglasmodelle durch vier wesentliche Verbesserungen: (1) Mehrskalige Überwachung, um das kontextuelle Merkmalslernen bei der Zuordnung von Körperteilpunkten zu stärken, indem Merkmalswärmebilder über verschiedene Skalen kombiniert werden, (2) Ein mehrskaliges Regressionsnetzwerk am Ende, um die strukturelle Zuordnung der mehrskaligen Merkmale global zu optimieren, (3) Eine strukturbewusste Verlustfunktion, die sowohl in der Zwischenüberwachung als auch im Regressionsprozess verwendet wird, um die Zuordnung von Körperteilpunkten und ihren Nachbarn zu verbessern und höhere Ordnungen von Zuordnungen abzuleiten, und (4) Ein Körperteilpunkt-Masking-Trainingsverfahren, das unser Netzwerk effektiv feinjustiert, um verdeckte Körperteilpunkte durch benachbarte Übereinstimmungen robust zu lokalisieren. Unsere Methode kann effektiv die neuesten Stand-of-the-Art-Methoden zur Schätzung der Körperhaltung verbessern, die Schwierigkeiten mit Skalenvielfalt, Verdeckungen und komplexen Mehrpersonenszenarien haben. Die mehrskalige Überwachung ist eng mit dem Regressionsnetzwerk verbunden und ermöglicht es effektiv (i), Körperteilpunkte unter Verwendung des Ensembles aus mehrskaligen Merkmalen zu lokalisieren und (ii), globale Körperhaltungs-Konfigurationen durch Maximierung der strukturellen Konsistenzen zwischen mehreren Körperteilpunkten und Skalen abzuleiten. Das Körperteilpunkt-Masking-Training verstärkt diese Vorteile und konzentriert das Lernen auf schwierige Verdeckungsbeispiele. Unsere Methode nimmt unter den Stand-of-the-Art-Methoden den führenden Platz in der MPII-Challenge-Rangliste ein.