Demo2Vec : Raisonnement sur les affordances des objets à partir de vidéos en ligne

Observer des démonstrations effectuées par des experts constitue une voie essentielle pour les humains comme pour les robots afin de raisonner sur les possibilités d’action (affordances) associées à des objets inconnus. Dans cet article, nous abordons le problème du raisonnement sur les affordances d’objets à partir des embeddings de caractéristiques extraits de vidéos de démonstration. Nous proposons le modèle Demo2Vec, conçu pour apprendre à extraire des vecteurs intégrés à partir de vidéos de démonstration, et à prédire la région d’interaction ainsi que l’étiquette d’action sur une image cible du même objet. Nous introduisons également le jeu de données Online Product Review for Affordance (OPRA), constitué de vidéos diversifiées de revues de produits issues de YouTube, soigneusement collectées et étiquetées. Notre modèle Demo2Vec surpasse plusieurs modèles de réseaux de neurones récurrents sur ce jeu de données collecté.