HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Demo2Vec : Raisonnement sur les affordances des objets à partir de vidéos en ligne

{Daniel Yang Te-Lin Wu Silvio Savarese Kuan Fang Joseph J. Lim}

Demo2Vec : Raisonnement sur les affordances des objets à partir de vidéos en ligne

Résumé

Observer des démonstrations effectuées par des experts constitue une voie essentielle pour les humains comme pour les robots afin de raisonner sur les possibilités d’action (affordances) associées à des objets inconnus. Dans cet article, nous abordons le problème du raisonnement sur les affordances d’objets à partir des embeddings de caractéristiques extraits de vidéos de démonstration. Nous proposons le modèle Demo2Vec, conçu pour apprendre à extraire des vecteurs intégrés à partir de vidéos de démonstration, et à prédire la région d’interaction ainsi que l’étiquette d’action sur une image cible du même objet. Nous introduisons également le jeu de données Online Product Review for Affordance (OPRA), constitué de vidéos diversifiées de revues de produits issues de YouTube, soigneusement collectées et étiquetées. Notre modèle Demo2Vec surpasse plusieurs modèles de réseaux de neurones récurrents sur ce jeu de données collecté.

Benchmarks

BenchmarkMéthodologieMétriques
video-to-image-affordance-grounding-on-opraDemo2Vec
KLD: 2.34
Top-1 Action Accuracy: 40.79
video-to-image-affordance-grounding-on-opra-1Demo2Vec
AUC-J: 0.85
KLD: 1.20
SIM: 0.48

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Demo2Vec : Raisonnement sur les affordances des objets à partir de vidéos en ligne | Articles de recherche | HyperAI