ContactDB : Analyse et Prédiction du Contact de Prise par Imagerie Thermique

La saisie et la manipulation d'objets sont des compétences importantes de l'être humain. Étant donné que le contact main-objet est fondamental pour la saisie, sa capture peut conduire à des insights importants. Cependant, observer ce contact à travers des capteurs externes est un défi en raison de l'occlusion et de la complexité de la main humaine. Nous présentons ContactDB, un nouveau jeu de données de cartes de contact pour les objets ménagers qui capture le riche contact main-objet qui se produit lors de la saisie, rendu possible grâce à l'utilisation d'une caméra thermique. Les participants à notre étude ont saisi des objets imprimés en 3D avec une intention fonctionnelle post-saisie. ContactDB comprend 3750 maillages 3D de 50 objets ménagers texturés avec des cartes de contact et 375 000 trames d'images synchronisées RGB-D+thermiques. Selon nos connaissances, c'est le premier grand jeu de données qui enregistre des cartes de contact détaillées pour les saisies humaines. L'analyse de ces données montre l'influence de l'intention fonctionnelle et de la taille des objets sur la saisie, la tendance à toucher/éviter les « zones actives » (active areas) et la fréquence élevée du contact paume-proximal doigt. Enfin, nous formons des algorithmes d'avant-garde en traduction d'image et en convolution 3D pour prédire divers modèles de contact à partir de la forme des objets. Les données, le code et les modèles sont disponibles à l'adresse https://contactdb.cc.gatech.edu.