ContactPose : Un jeu de données de prises avec contact d'objet et pose de la main

La préhension est naturelle pour les humains. Cependant, elle implique des configurations de main complexes et une déformation des tissus mous qui peuvent entraîner des zones de contact compliquées entre la main et l'objet. Comprendre et modéliser ce contact pourrait potentiellement améliorer les modèles de main, les expériences en réalité augmentée (AR) / réalité virtuelle (VR) et la préhension robotique. Néanmoins, nous manquons actuellement de jeux de données sur le contact main-objet associés à d'autres modalités de données, ce qui est crucial pour développer et évaluer les techniques de modélisation du contact. Nous présentons ContactPose, le premier jeu de données de contact main-objet associé à la posture de la main, la posture de l'objet et des images RGB-D. ContactPose comprend 2306 prises uniques sur 25 objets domestiques saisis avec 2 intentions fonctionnelles par 50 participants, ainsi que plus de 2,9 millions d'images RGB-D de prises. L'analyse des données ContactPose révèle des relations intéressantes entre la posture de la main et le contact. Nous utilisons ces données pour évaluer rigoureusement diverses représentations de données, des heuristiques issues de la littérature et des méthodes d'apprentissage pour la modélisation du contact. Les données, le code source et les modèles entraînés sont disponibles à l'adresse https://contactpose.cc.gatech.edu.