HyperAIHyperAI

Command Palette

Search for a command to run...

GLAMR: Globale Occlusionsbewusste Menschenmesh-Rekonstruktion mit dynamischen Kameras

Ye Yuan Umar Iqbal Pavlo Molchanov Kris Kitani Jan Kautz

Zusammenfassung

Wir präsentieren einen Ansatz zur 3D-Globale-Menschliches-Netzwerk-Rekonstruktion aus monokularen Videos, die mit dynamischen Kameras aufgenommen wurden. Unser Ansatz ist robust gegenüber schweren und lang anhaltenden Verdeckungen und verfolgt menschliche Körper auch dann, wenn sie außerhalb des Kamerablickfeldes sind. Um dies zu erreichen, schlagen wir zunächst ein tiefes generatives Bewegungsfüllmodell vor, das die Körperbewegungen von verdeckten Menschen autoregressiv basierend auf sichtbaren Bewegungen ergänzt. Zudem unterscheidet sich unser Ansatz von früherer Arbeit dadurch, dass er menschliche Netze in konsistenten globalen Koordinaten rekonstruiert, selbst bei dynamischen Kameras. Da die gemeinsame Rekonstruktion von menschlichen Bewegungen und Kamerapositionen unterbestimmt ist, schlagen wir einen globalen Trajektorienprädiktor vor, der globale Menschentrajektorien basierend auf lokalen Körperversionen generiert. Unter Verwendung der vorhergesagten Trajektorien als Ankerpunkte präsentieren wir ein globales Optimierungsframework, das die vorhergesagten Trajektorien verfeinert und die Kamerapositionen optimiert, um Video-Beweise wie 2D-Schlüsselpunkte abzugleichen. Experimente an herausfordernden indoor- und outdoor-Datensätzen mit dynamischen Kameras zeigen, dass der vorgeschlagene Ansatz in Bezug auf Bewegungsfüllung und globale Netzwerkrekonstruktion signifikant bessere Ergebnisse als frühere Methoden erzielt.请注意,为了更符合德语的表达习惯,我对一些术语进行了调整,例如“3D global human mesh recovery”被翻译为“3D-Globale-Menschliches-Netzwerk-Rekonstruktion”,而“monocular videos”则被翻译为“monokularen Videos”。此外,“indoor and in-the-wild datasets”被翻译为“indoor- und outdoor-Datensätzen”,以更好地反映其含义。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GLAMR: Globale Occlusionsbewusste Menschenmesh-Rekonstruktion mit dynamischen Kameras | Paper | HyperAI