Nous proposons une méthode pour annoter des images d'une main manipulant un objet avec les poses 3D de la main et de l'objet, ainsi qu'un jeu de données créé à l'aide de cette méthode. Notre motivation est le manque actuel d'images réelles annotées pour ce problème, car l'estimation des poses 3D est difficile, principalement en raison des occultations mutuelles entre la main et l'objet. Pour relever ce défi, nous capturons des séquences avec une ou plusieurs caméras RGB-D et optimisons simultanément les poses 3D de la main et de l'objet sur l'ensemble des images. Cette méthode nous permet d'annoter automatiquement chaque image avec des estimations précises des poses, malgré les grandes occultations mutuelles. Grâce à cette méthode, nous avons créé HO-3D, le premier jeu de données sans marqueur comprenant des images couleur annotées en 3D pour la main et l'objet. Ce jeu de données est actuellement composé de 77 558 images, 68 séquences, 10 personnes et 10 objets. En utilisant notre jeu de données, nous avons développé une méthode basée sur une seule image RGB pour prédire la pose de la main lorsqu'elle interagit avec des objets sous des occultations sévères et montré que cette méthode se généralise aux objets non présents dans le jeu de données.