HyperAIHyperAI
il y a 2 mois

Ego3DPose : Capture des indices 3D à partir de vues égocentriques binoculaires

Kang, Taeho ; Lee, Kyungjin ; Zhang, Jinrui ; Lee, Youngki
Ego3DPose : Capture des indices 3D à partir de vues égocentriques binoculaires
Résumé

Nous présentons Ego3DPose, un système de reconstruction 3D égocentrique binoculaire d'une grande précision. Bien que la configuration binoculaire égocentrique offre une praticité et une utilité considérables dans diverses applications, elle reste largement sous-exploitée. Elle souffre d'une faible précision de l'estimation des poses en raison des distorsions de vue, des auto-occultations sévères et du champ de vision limité des articulations dans les images 2D égocentriques. Nous constatons ici que deux indices 3D importants, les correspondances stéréoscopiques et la perspective, contenus dans l'entrée binoculaire égocentrique, sont négligés. Les méthodes actuelles s'appuient fortement sur les caractéristiques des images 2D, apprenant implicitement des informations 3D, ce qui introduit des biais en faveur des mouvements couramment observés et entraîne une faible précision globale. Nous observons qu'elles échouent non seulement dans les cas d'occultation difficiles mais aussi dans l'estimation des positions visibles des articulations.Pour relever ces défis, nous proposons deux approches novatrices. Premièrement, nous concevons une architecture de réseau à double voie avec une voie qui estime la pose pour chaque membre indépendamment à partir de ses cartes thermiques binoculaires. En l'absence d'informations sur le corps entier, cela atténue le biais envers la distribution du corps entier formée lors de l'entraînement. Deuxièmement, nous exploitons la vue égocentrique des membres du corps, qui présente une forte variance perspective (par exemple, une main beaucoup plus grande lorsque celle-ci est proche de la caméra). Nous proposons une nouvelle représentation sensible à la perspective utilisant la trigonométrie, permettant au réseau d'estimer l'orientation 3D des membres. Enfin, nous développons un réseau de reconstruction de pose intégral qui combine harmonieusement ces deux techniques.Nos évaluations exhaustives montrent que Ego3DPose surpasses les modèles de pointe actuels avec une réduction de l'erreur d'estimation des poses (c'est-à-dire MPJPE) de 23,1 % dans le jeu de données UnrealEgo. Nos résultats qualitatifs soulignent également la supériorité de notre approche face à une gamme variée de scénarios et défis.