HyperAIHyperAI

Command Palette

Search for a command to run...

HandOS : Reconstruction 3D de la main en une seule étape

Xingyu Chen Zhuheng Song Xiaoke Jiang Yaoqing Hu Junzhi Yu Lei Zhang

Résumé

Les approches existantes de reconstruction de la main adhèrent principalement à un cadre en plusieurs étapes, comprenant la détection, la classification gauche-droite et l'estimation de la posture. Ce paradigme induit des calculs redondants et des erreurs cumulatives. Dans ce travail, nous proposons HandOS, un cadre bout-à-bout pour la reconstruction 3D de la main. Notre motivation centrale réside dans l'utilisation d'un détecteur figé comme base tout en intégrant des modules auxiliaires pour l'estimation des points clés 2D et 3D. De cette façon, nous intégrons la capacité d'estimation de la posture au cadre de détection, tout en éliminant la nécessité d'utiliser la catégorie gauche-droite comme prérequis. Plus précisément, nous proposons un décodeur interactif 2D-3D, où les sémantiques des articulations 2D sont dérivées des indices de détection tandis que la représentation 3D est extrapolée à partir de celle des articulations 2D. De plus, une attention hiérarchique est conçue pour permettre le modèle simultané des articulations 2D, des sommets 3D et de la translation caméra. Par conséquent, nous parvenons à une intégration bout-à-bout de la détection de la main, l'estimation de la posture 2D et la reconstruction du maillage 3D au sein d'un cadre mono-étape, surmontant ainsi les inconvénients multiples du cadre en plusieurs étapes. Parallèlement, HandOS atteint des performances de pointe sur les benchmarks publics, par exemple : un PA-MPJPE (Mean Per Joint Position Error) de 5.0 sur FreiHand et un [email protected] (Percentage of Correct Keypoints) de 64.6% sur HInt-Ego4D. Page du projet : idea-research.github.io/HandOSweb.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp