Command Palette
Search for a command to run...
HandOS : Reconstruction 3D de la main en une seule étape
HandOS : Reconstruction 3D de la main en une seule étape
Xingyu Chen Zhuheng Song Xiaoke Jiang Yaoqing Hu Junzhi Yu Lei Zhang
Résumé
Les approches existantes de reconstruction de la main adhèrent principalement à un cadre en plusieurs étapes, comprenant la détection, la classification gauche-droite et l'estimation de la posture. Ce paradigme induit des calculs redondants et des erreurs cumulatives. Dans ce travail, nous proposons HandOS, un cadre bout-à-bout pour la reconstruction 3D de la main. Notre motivation centrale réside dans l'utilisation d'un détecteur figé comme base tout en intégrant des modules auxiliaires pour l'estimation des points clés 2D et 3D. De cette façon, nous intégrons la capacité d'estimation de la posture au cadre de détection, tout en éliminant la nécessité d'utiliser la catégorie gauche-droite comme prérequis. Plus précisément, nous proposons un décodeur interactif 2D-3D, où les sémantiques des articulations 2D sont dérivées des indices de détection tandis que la représentation 3D est extrapolée à partir de celle des articulations 2D. De plus, une attention hiérarchique est conçue pour permettre le modèle simultané des articulations 2D, des sommets 3D et de la translation caméra. Par conséquent, nous parvenons à une intégration bout-à-bout de la détection de la main, l'estimation de la posture 2D et la reconstruction du maillage 3D au sein d'un cadre mono-étape, surmontant ainsi les inconvénients multiples du cadre en plusieurs étapes. Parallèlement, HandOS atteint des performances de pointe sur les benchmarks publics, par exemple : un PA-MPJPE (Mean Per Joint Position Error) de 5.0 sur FreiHand et un [email protected] (Percentage of Correct Keypoints) de 64.6% sur HInt-Ego4D. Page du projet : idea-research.github.io/HandOSweb.