La modélisation des manipulations main-objet est essentielle pour comprendre comment les humains interagissent avec leur environnement. Bien que d'importance pratique, l'estimation de la posture des mains et des objets lors de ces interactions est difficile en raison des importantes occultations mutuelles qui se produisent pendant la manipulation. Les efforts récents ont été dirigés vers des méthodes entièrement supervisées nécessitant de grandes quantités d'échantillons d'entraînement étiquetés. Cependant, la collecte de données 3D de vérité terrain pour les interactions main-objet est coûteuse, fastidieuse et sujette aux erreurs. Pour surmonter ce défi, nous présentons une méthode permettant d'exploiter la cohérence photométrique au fil du temps lorsque les annotations ne sont disponibles que pour un sous-ensemble épars de cadres dans une vidéo. Notre modèle est entraîné de bout en bout sur des images couleur pour reconstruire conjointement les mains et les objets en 3D en inférant leurs postures. À partir de nos reconstructions estimées, nous rendons différemment le flot optique entre des paires d'images adjacentes et l'utilisons au sein du réseau pour déformer un cadre à un autre. Nous appliquons ensuite une perte photométrique auto-supervisée qui repose sur la cohérence visuelle entre les images proches. Nous obtenons des résultats de pointe sur les bancs d'essai de reconstruction 3D main-objet et démontrons que notre approche nous permet d'améliorer la précision de l'estimation de la posture en exploitant les informations provenant des cadres voisins dans des régimes à faibles données.