HyperAIHyperAI

Command Palette

Search for a command to run...

Demo2Vec : Raisonnement sur les affordances des objets à partir de vidéos en ligne

Daniel Yang Te-Lin Wu Silvio Savarese Kuan Fang Joseph J. Lim

Résumé

Observer des démonstrations effectuées par des experts constitue une voie essentielle pour les humains comme pour les robots afin de raisonner sur les possibilités d’action (affordances) associées à des objets inconnus. Dans cet article, nous abordons le problème du raisonnement sur les affordances d’objets à partir des embeddings de caractéristiques extraits de vidéos de démonstration. Nous proposons le modèle Demo2Vec, conçu pour apprendre à extraire des vecteurs intégrés à partir de vidéos de démonstration, et à prédire la région d’interaction ainsi que l’étiquette d’action sur une image cible du même objet. Nous introduisons également le jeu de données Online Product Review for Affordance (OPRA), constitué de vidéos diversifiées de revues de produits issues de YouTube, soigneusement collectées et étiquetées. Notre modèle Demo2Vec surpasse plusieurs modèles de réseaux de neurones récurrents sur ce jeu de données collecté.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp