Un modèle d'attention probabiliste avec régression de texture sensible aux occlusions pour la reconstruction 3D de main à partir d'une seule image RGB

Récemment, les approches fondées sur l’apprentissage profond ont montré des résultats prometteurs pour la reconstruction 3D de la main à partir d’une seule image RGB. Ces approches peuvent être globalement classées en deux catégories : les méthodes basées sur un modèle, qui dépendent fortement de l’espace de paramètres du modèle, et les méthodes sans modèle, qui nécessitent un grand nombre de vérités terrain 3D afin de réduire l’ambiguïté de profondeur, tout en rencontrant des difficultés dans les scénarios faiblement supervisés. Pour surmonter ces limitations, nous proposons un nouveau modèle probabiliste permettant d’obtenir la robustesse des méthodes basées sur un modèle tout en réduisant la dépendance à l’égard de l’espace de paramètres du modèle, caractéristique des méthodes sans modèle. Le modèle probabiliste proposé intègre un réseau basé sur un modèle comme « prior-net » afin d’estimer la distribution a priori des articulations et des sommets du maillage. Nous introduisons également un modèle d’incertitude de régression des sommets de maillage basé sur l’attention (AMVUR), conçu pour capturer les dépendances entre les sommets et la corrélation entre les articulations et les sommets du maillage, afin d’améliorer la représentation des caractéristiques. Par ailleurs, nous proposons un modèle de régression de texture de main sensible à l’occlusion, fondé sur l’apprentissage, afin d’obtenir une reconstruction de texture haute fidélité. Nous démontrons la flexibilité du modèle probabiliste proposé, capable d’être entraîné aussi bien dans des scénarios supervisés que faiblement supervisés. Les résultats expérimentaux montrent que notre modèle probabiliste atteint un niveau d’exactitude de pointe dans la reconstruction 3D de la main et de sa texture à partir d’une seule image, dans les deux modes d’entraînement, y compris en présence d’occlusions sévères.