L'estimation des manipulations main-objet est essentielle pour l'interprétation et l'imitation des actions humaines. Les travaux précédents ont fait des progrès significatifs dans la reconstruction des poses de la main et des formes d'objets en isolation. Cependant, la reconstruction des mains et des objets pendant la manipulation est une tâche plus complexe en raison des occultations importantes de la main et de l'objet. Bien que posant des défis, les manipulations peuvent également simplifier le problème car la physique du contact restreint l'espace des configurations main-objet valides. Par exemple, lors d'une manipulation, la main et l'objet doivent être en contact mais ne pas se pénétrer. Dans ce travail, nous régularisons la reconstruction conjointe des mains et des objets avec des contraintes de manipulation. Nous présentons un modèle apprenable de bout en bout qui exploite une nouvelle fonction de perte de contact favorisant les constellations main-objet physiquement plausibles. Notre approche améliore les métriques de qualité de saisie par rapport aux méthodes de base, en utilisant des images RGB comme entrée. Pour entraîner et évaluer le modèle, nous proposons également un nouveau jeu de données synthétique à grande échelle, ObMan, comprenant des manipulations main-objet. Nous démontrons la transférabilité des modèles formés sur ObMan vers des données réelles.