La reconstruction de maillage 3D de la main à partir d’images RGB facilite de nombreuses applications, notamment la réalité augmentée (RA). Toutefois, cela nécessite non seulement une vitesse en temps réel, une précision élevée de la pose et de la forme de la main, mais aussi une alignement plausible entre le maillage et l’image. Bien que les travaux existants aient déjà atteint des résultats prometteurs, satisfaire simultanément ces trois exigences constitue un défi majeur. Ce papier présente une nouvelle architecture en décomposant la tâche de reconstruction du maillage 3D de la main en trois étapes : une étape de jointures pour prédire les articulations de la main et la segmentation ; une étape de maillage pour générer un maillage grossier de la main ; et une étape de raffinement pour affiner ce maillage à l’aide d’un maillage décalé, afin d’améliorer l’alignement entre le maillage et l’image. Grâce à une conception soignée de la structure du réseau et des fonctions de perte, nous parvenons à obtenir un alignement de haute qualité au niveau des doigts entre le maillage et l’image, tout en permettant aux modèles de produire des prédictions en temps réel. Des résultats quantitatifs et qualitatifs étendus sur des jeux de données de référence démontrent que notre méthode surpasser les états de l’art en termes de précision de la pose et du maillage 3D, ainsi que d’alignement entre le maillage et l’image. Enfin, nous illustrons plusieurs scénarios de réalité augmentée en temps réel.