Pose2Mesh: Graph Convolutional Network zur 3D-Menschenpose- und Mesh-Rekonstruktion aus einer 2D-Menschenpose

Die meisten jüngsten auf Deep Learning basierenden Methoden zur Schätzung von 3D-Menschenpose und -mesh verwenden Eingabebilder, um die Pose- und Formparameter von Mensch-Modellen wie SMPL und MANO direkt abzuleiten. Die erste Schwäche dieser Ansätze liegt im sogenannten „Appearance Domain Gap“-Problem, das durch unterschiedliche Bilderscheinungen zwischen Trainingsdaten aus kontrollierten Umgebungen – beispielsweise Laborbedingungen – und Testdaten aus realen, unkontrollierten Umgebungen entsteht. Die zweite Schwäche resultiert aus der Schwierigkeit der Schätzung von Pose-Parametern aufgrund der Darstellungsprobleme dreidimensionaler Rotationen. Um diese Schwächen zu überwinden, stellen wir Pose2Mesh vor – ein neuartiges System auf Basis eines Graphen-Convolutional Neural Networks (GraphCNN), das die 3D-Koordinaten der Mesh-Ecken eines Menschen direkt aus einer 2D-Pose schätzt. Die 2D-Pose als Eingabe liefert essenzielle Informationen über die Gelenkbeweglichkeit des menschlichen Körpers und weist zwischen den beiden Domänen eine vergleichsweise homogene geometrische Struktur auf. Zudem vermeidet das vorgeschlagene System Darstellungsprobleme und nutzt die Mesh-Topologie effizient durch einen GraphCNN in einer grob-zu-fein-orientierten Architektur. Wir zeigen, dass Pose2Mesh die bisherigen Methoden zur 3D-Pose- und -Mesh-Schätzung auf verschiedenen Benchmark-Datensätzen übertrifft. Für den Quellcode siehe: https://github.com/hongsukchoi/Pose2Mesh_RELEASE.