HyperAIHyperAI

Command Palette

Search for a command to run...

Les humains en 4D : Reconstruction et suivi des humains avec des Transformers

Shubham Goel Georgios Pavlakos Jathushan Rajasegaran Angjoo Kanazawa Jitendra Malik

Résumé

Nous présentons une approche pour reconstruire des êtres humains et les suivre dans le temps. Au cœur de notre méthode, nous proposons une version entièrement « transformée » (transformerized) d’un réseau de récupération de maillage humain. Ce réseau, nommé HMR 2.0, représente une avancée significative par rapport aux états de l’art et démontre une capacité à analyser des poses inhabituelles, autrefois difficiles à reconstruire à partir d’images simples. Pour l’analyse de vidéos, nous utilisons les reconstructions 3D issues de HMR 2.0 comme entrée pour un système de suivi opérant en 3D. Cette approche nous permet de traiter simultanément plusieurs personnes tout en préservant leurs identités même lors d’occlusions. Notre méthode complète, 4DHumans, atteint des résultats de pointe pour le suivi de personnes à partir de vidéos monoculaires. En outre, nous démontrons l’efficacité de HMR 2.0 sur une tâche à valeur ajoutée : la reconnaissance d’actions, où elle obtient des améliorations significatives par rapport aux approches antérieures fondées sur les poses. Le code et les modèles sont disponibles sur le site du projet : https://shubham-goel.github.io/4dhumans/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Les humains en 4D : Reconstruction et suivi des humains avec des Transformers | Articles | HyperAI