HyperAIHyperAI
il y a 2 mois

Perception de la posture humaine 3D à partir de vidéos stéréoscopiques égocentriques

Akada, Hiroyasu ; Wang, Jian ; Golyanik, Vladislav ; Theobalt, Christian
Perception de la posture humaine 3D à partir de vidéos stéréoscopiques égocentriques
Résumé

Alors que les dispositifs portables sur la tête deviennent de plus en plus compacts, ils fournissent des vues égocentriques avec d'importantes auto-occultations de l'utilisateur du dispositif. Par conséquent, les méthodes existantes échouent souvent à estimer avec précision des poses 3D complexes à partir de vues égocentriques. Dans ce travail, nous proposons un nouveau cadre basé sur les transformers pour améliorer l'estimation 3D stéréoscopique des poses humaines égocentriques, qui exploite les informations scéniques et le contexte temporel des vidéos stéréoscopiques égocentriques. Plus précisément, nous utilisons 1) des caractéristiques de profondeur issues de notre module de reconstruction de scène 3D avec des fenêtres d'échantillonnage uniforme de cadres stéréoscopiques égocentriques, et 2) des requêtes articulaires humaines renforcées par les caractéristiques temporelles des entrées vidéo. Notre méthode est capable d'estimer avec précision les poses humaines même dans des scénarios difficiles, tels que le ramassage et l'assise. De plus, nous introduisons deux nouveaux ensembles de données de référence, à savoir UnrealEgo2 et UnrealEgo-RW (RealWorld). Les ensembles de données proposés offrent un nombre beaucoup plus important de vues stéréoscopiques égocentriques avec une variété plus large de mouvements humains que les ensembles de données existants, permettant une évaluation complète des méthodes actuelles et futures. Nos expériences approfondies montrent que l'approche proposée dépasse significativement les méthodes précédentes. Nous mettrons à disposition UnrealEgo2, UnrealEgo-RW et les modèles entraînés sur notre page de projet.