MobRecon : Reconstruction de maillage de main à partir d'une image monoculaire, adaptée aux appareils mobiles

Dans cette étude, nous proposons un cadre pour la reconstruction de maillages de main à partir d'une seule vue, capable d'atteindre simultanément une haute précision de reconstruction, une vitesse d'inférence rapide et une cohérence temporelle. Plus précisément, pour l'encodage 2D, nous proposons des structures empilées légères mais efficaces. En ce qui concerne le décodage 3D, nous fournissons un opérateur graphique efficace, appelé convolution spirale à profondeur séparable (depth-separable spiral convolution). De plus, nous présentons un nouveau module de relevé de caractéristiques permettant de combler l'écart entre les représentations 2D et 3D. Ce module commence par un bloc de régression positionnelle basée sur une carte (MapReg) pour intégrer les avantages des paradigmes d'encodage par carte thermique et de régression positionnelle, améliorant ainsi la précision 2D et la cohérence temporelle. En outre, MapReg est suivi par des approches de regroupement de pose et de relevé de pose vers sommet (pose-to-vertex lifting), qui transforment les encodages 2D de pose en caractéristiques sémantiques des sommets 3D. Dans son ensemble, notre cadre de reconstruction de main, appelé MobRecon, présente des coûts informatiques abordables et une taille de modèle miniature, atteignant une vitesse d'inférence élevée de 83 images par seconde (FPS) sur le processeur Apple A14. Des expériences approfondies sur des jeux de données populaires tels que FreiHAND, RHD et HO3Dv2 montrent que notre MobRecon obtient des performances supérieures en termes de précision de reconstruction et de cohérence temporelle. Notre code est disponible au public sur https://github.com/SeanChenxy/HandMesh.Note : - "MapReg" est conservé tel quel car il s'agit d'un nom propre.- "depth-separable spiral convolution" est traduit littéralement car il n'existe pas encore d'équivalent standardisé en français dans ce domaine spécifique.- Les noms des jeux de données (FreiHAND, RHD, HO3Dv2) sont également conservés tels quels.- Le nom du processeur (Apple A14) est également conservé sans modification.