H2O : Manipulation d'objets par deux mains pour la reconnaissance d'interactions en première personne

Nous présentons un cadre complet pour la reconnaissance d'interactions égocentriquesen utilisant des annotations 3D sans marqueur de deux mains manipulant des objets. À cette fin,nous proposons une méthode pour créer un ensemble de données unifié pour la reconnaissanceégocentrique 3D des interactions. Notre méthode génère des annotations de la posture 3Dde deux mains et de la posture 6D des objets manipulés, ainsi que leurs étiquettes d'interactionpour chaque image. Notre ensemble de données, appelé H2O (2 Mains et Objets), fournitdes images RGB-D synchronisées à plusieurs vues, des étiquettes d'interaction, des classes d'objets,les postures 3D réelles pour les mains gauche et droite, les postures 6D des objets,les postures réelles des caméras, les maillages d'objets et les nuages de points de scène. À notre connaissance, c'est le premier benchmark qui permet l'étude des actions en première personneen utilisant la posture des deux mains gauche et droite manipulant des objets et qui présenteun niveau de détail sans précédent pour la reconnaissance égocentrique 3D des interactions.Nous proposons également une méthode pour prédire les classes d'interaction en estimantla posture 3D de deux mains et la posture 6D des objets manipulés, conjointement à partir d'images RGB.Notre méthode modélise à la fois les dépendances inter- et intra-mains et objets en apprenantla topologie d'un réseau neuronal convolutif graphique qui prédit les interactions.Nous montrons que notre méthode, facilitée par cet ensemble de données, établit une base solidepour l'estimation conjointe de la posture main-objet et atteint une précision au niveau de l'état de l'artpour la reconnaissance d'interactions en première personne.