HyperAIHyperAI

Command Palette

Search for a command to run...

Perception de la posture humaine 3D à partir de vidéos stéréoscopiques égocentriques

Akada Hiroyasu ; Wang Jian ; Golyanik Vladislav ; Theobalt Christian

Résumé

Alors que les dispositifs portables sur la tête deviennent de plus en plus compacts, ils fournissent des vues égocentriques avec d'importantes auto-occultations de l'utilisateur du dispositif. Par conséquent, les méthodes existantes échouent souvent à estimer avec précision des poses 3D complexes à partir de vues égocentriques. Dans ce travail, nous proposons un nouveau cadre basé sur les transformers pour améliorer l'estimation 3D stéréoscopique des poses humaines égocentriques, qui exploite les informations scéniques et le contexte temporel des vidéos stéréoscopiques égocentriques. Plus précisément, nous utilisons 1) des caractéristiques de profondeur issues de notre module de reconstruction de scène 3D avec des fenêtres d'échantillonnage uniforme de cadres stéréoscopiques égocentriques, et 2) des requêtes articulaires humaines renforcées par les caractéristiques temporelles des entrées vidéo. Notre méthode est capable d'estimer avec précision les poses humaines même dans des scénarios difficiles, tels que le ramassage et l'assise. De plus, nous introduisons deux nouveaux ensembles de données de référence, à savoir UnrealEgo2 et UnrealEgo-RW (RealWorld). Les ensembles de données proposés offrent un nombre beaucoup plus important de vues stéréoscopiques égocentriques avec une variété plus large de mouvements humains que les ensembles de données existants, permettant une évaluation complète des méthodes actuelles et futures. Nos expériences approfondies montrent que l'approche proposée dépasse significativement les méthodes précédentes. Nous mettrons à disposition UnrealEgo2, UnrealEgo-RW et les modèles entraînés sur notre page de projet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp