GLAMR: Globale Occlusionsbewusste Menschenmesh-Rekonstruktion mit dynamischen Kameras

Wir präsentieren einen Ansatz zur 3D-Globale-Menschliches-Netzwerk-Rekonstruktion aus monokularen Videos, die mit dynamischen Kameras aufgenommen wurden. Unser Ansatz ist robust gegenüber schweren und lang anhaltenden Verdeckungen und verfolgt menschliche Körper auch dann, wenn sie außerhalb des Kamerablickfeldes sind. Um dies zu erreichen, schlagen wir zunächst ein tiefes generatives Bewegungsfüllmodell vor, das die Körperbewegungen von verdeckten Menschen autoregressiv basierend auf sichtbaren Bewegungen ergänzt. Zudem unterscheidet sich unser Ansatz von früherer Arbeit dadurch, dass er menschliche Netze in konsistenten globalen Koordinaten rekonstruiert, selbst bei dynamischen Kameras. Da die gemeinsame Rekonstruktion von menschlichen Bewegungen und Kamerapositionen unterbestimmt ist, schlagen wir einen globalen Trajektorienprädiktor vor, der globale Menschentrajektorien basierend auf lokalen Körperversionen generiert. Unter Verwendung der vorhergesagten Trajektorien als Ankerpunkte präsentieren wir ein globales Optimierungsframework, das die vorhergesagten Trajektorien verfeinert und die Kamerapositionen optimiert, um Video-Beweise wie 2D-Schlüsselpunkte abzugleichen. Experimente an herausfordernden indoor- und outdoor-Datensätzen mit dynamischen Kameras zeigen, dass der vorgeschlagene Ansatz in Bezug auf Bewegungsfüllung und globale Netzwerkrekonstruktion signifikant bessere Ergebnisse als frühere Methoden erzielt.请注意，为了更符合德语的表达习惯，我对一些术语进行了调整，例如“3D global human mesh recovery”被翻译为“3D-Globale-Menschliches-Netzwerk-Rekonstruktion”，而“monocular videos”则被翻译为“monokularen Videos”。此外，“indoor and in-the-wild datasets”被翻译为“indoor- und outdoor-Datensätzen”，以更好地反映其含义。