Mehrpersonen-3D-Pose- und Formschätzung durch inverse Kinematik und Verfeinerung

Die Schätzung von 3D-Posen und -Formen in Form von Netzen aus monokularen RGB-Bildern ist eine Herausforderung. Offensichtlich ist sie schwieriger als die Schätzung von 3D-Posen nur in Form von Skeletten oder Heatmaps. Wenn interagierende Personen beteiligt sind, wird die 3D-Netzrekonstruktion aufgrund der durch Person-zu-Person-Verdeckungen eingeführten Unbestimmtheit noch anspruchsvoller. Um diese Herausforderungen zu bewältigen, schlagen wir einen Pipeline von grob zu fein vor, der sich von 1) inverser Kinematik bei der verdeckungsrobusten 3D-Skelettschätzung und 2) Transformer-basierten, relationssensiblen Verfeinerungstechniken nutzt. In unserem Pipeline erhalten wir zunächst verdeckungsrobuste 3D-Skelette für mehrere Personen aus einem RGB-Bild. Anschließend wenden wir inverse Kinematik an, um die geschätzten Skelette in deformierbare 3D-Netzparameter zu konvertieren. Abschließend führen wir die Transformer-basierte Netzverfeinerung durch, die die ermittelten Netzparameter unter Berücksichtigung der inner- und zwischenpersonellen Beziehungen von 3D-Netzen verfeinert. Durch umfangreiche Experimente zeigen wir die Effektivität unserer Methode nach, welche den Stand der Technik auf den Datensätzen 3DPW, MuPoTS und AGORA übertrifft.