HyperAIHyperAI

Command Palette

Search for a command to run...

Ego3DPose : Capture des indices 3D à partir de vues égocentriques binoculaires

Taeho Kang Kyungjin Lee Jinrui Zhang Youngki Lee

Résumé

Nous présentons Ego3DPose, un système de reconstruction 3D égocentrique binoculaire d'une grande précision. Bien que la configuration binoculaire égocentrique offre une praticité et une utilité considérables dans diverses applications, elle reste largement sous-exploitée. Elle souffre d'une faible précision de l'estimation des poses en raison des distorsions de vue, des auto-occultations sévères et du champ de vision limité des articulations dans les images 2D égocentriques. Nous constatons ici que deux indices 3D importants, les correspondances stéréoscopiques et la perspective, contenus dans l'entrée binoculaire égocentrique, sont négligés. Les méthodes actuelles s'appuient fortement sur les caractéristiques des images 2D, apprenant implicitement des informations 3D, ce qui introduit des biais en faveur des mouvements couramment observés et entraîne une faible précision globale. Nous observons qu'elles échouent non seulement dans les cas d'occultation difficiles mais aussi dans l'estimation des positions visibles des articulations.Pour relever ces défis, nous proposons deux approches novatrices. Premièrement, nous concevons une architecture de réseau à double voie avec une voie qui estime la pose pour chaque membre indépendamment à partir de ses cartes thermiques binoculaires. En l'absence d'informations sur le corps entier, cela atténue le biais envers la distribution du corps entier formée lors de l'entraînement. Deuxièmement, nous exploitons la vue égocentrique des membres du corps, qui présente une forte variance perspective (par exemple, une main beaucoup plus grande lorsque celle-ci est proche de la caméra). Nous proposons une nouvelle représentation sensible à la perspective utilisant la trigonométrie, permettant au réseau d'estimer l'orientation 3D des membres. Enfin, nous développons un réseau de reconstruction de pose intégral qui combine harmonieusement ces deux techniques.Nos évaluations exhaustives montrent que Ego3DPose surpasses les modèles de pointe actuels avec une réduction de l'erreur d'estimation des poses (c'est-à-dire MPJPE) de 23,1 % dans le jeu de données UnrealEgo. Nos résultats qualitatifs soulignent également la supériorité de notre approche face à une gamme variée de scénarios et défis.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp