Le Jeu de Données MECCANO : Compréhension des Interactions Homme-Objet à Partir de Vidéos Égocentriques dans un Domaine Industriel-like

Les caméras portables permettent de collecter des images et des vidéos d'interactions humaines avec le monde. Bien que les interactions entre humains et objets aient été largement étudiées dans la vision à la troisième personne, ce problème a été moins exploré dans les configurations égocentriques et dans les scénarios industriels. Pour combler cette lacune, nous présentons MECCANO, le premier ensemble de données de vidéos égocentriques destiné à l'étude des interactions humain-objet dans des environnements similaires à ceux de l'industrie. MECCANO a été acquis par 20 participants qui ont été invités à construire un modèle de motocyclette, nécessitant ainsi des interactions avec de petits objets et outils. L'ensemble de données a été explicitement annoté pour la tâche de reconnaissance des interactions humain-objet sous un angle égocentrique. Plus précisément, chaque interaction a été étiquetée tant temporellement (avec des segments d'action) que spatialement (avec des boîtes englobantes d'objets actifs). Avec cet ensemble de données proposé, nous examinons quatre tâches différentes, incluant 1) la reconnaissance d'action, 2) la détection d'objets actifs, 3) la reconnaissance d'objets actifs et 4) la détection d'interactions humain-objet égocentrique, qui est une version revisitée de la tâche standard de détection d'interactions humain-objet. Les résultats baselines montrent que le dataset MECCANO constitue un benchmark difficile pour l'étude des interactions humain-objet égocentriques dans des scénarios industriels. Nous mettons ce dataset à disposition du public sur https://iplab.dmi.unict.it/MECCANO.