HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Estimation de la posture 3D humaine par fusion vidéo et capteurs inertiels

{and John Collomosse Matthew Trumble Charles Malleson Adrian Hilton Andrew Gilbert}

Estimation de la posture 3D humaine par fusion vidéo et capteurs inertiels

Résumé

Nous présentons un algorithme de fusion de données vidéo à plusieurs points de vue (MVV, multi-viewpoint video) et de capteurs d’unité de mesure inertielle (IMU) pour estimer avec précision la posture 3D d’un être humain. Un réseau de neurones convolutif 3D est utilisé pour apprendre une représentation de posture à partir de données volumétriques probabilistes de coque visuelle (PVH, probabilistic visual hull), issues des images MVV. Ce modèle est intégré dans un réseau à deux voies, combinant les représentations de posture extraites de la MVV et une résolution cinématique avant des données IMU. Un modèle temporel (LSTM) est incorporé dans chacune des deux voies avant leur fusion. L’inférence hybride de posture basée sur ces deux sources de données complémentaires permet de résoudre les ambiguïtés propres à chaque modalité sensorielle, conduisant à une précision supérieure aux méthodes antérieures. Une autre contribution de ce travail est la mise à disposition d’un nouveau jeu de données hybride MVV (TotalCapture), comprenant des vidéos, des données IMU et une vérité terrain en jointures squelettiques obtenue à partir d’un système commercial de capture de mouvement. Ce jeu de données est accessible en ligne à l’adresse http://cvssp.org/data/totalcapture/

Benchmarks

BenchmarkMéthodologieMétriques
3d-human-pose-estimation-on-human36mPVH-TSP
Average MPJPE (mm): 57.0
3d-human-pose-estimation-on-total-captureIMUPVH
Average MPJPE (mm): 70
3d-human-pose-estimation-on-total-capturePVH
Average MPJPE (mm): 107

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Estimation de la posture 3D humaine par fusion vidéo et capteurs inertiels | Articles de recherche | HyperAI