HyperAIHyperAI

Command Palette

Search for a command to run...

Le Jeu de Données MECCANO : Compréhension des Interactions Homme-Objet à Partir de Vidéos Égocentriques dans un Domaine Industriel-like

Francesco Ragusa Antonino Furnari Salvatore Livatino Giovanni Maria Farinella

Résumé

Les caméras portables permettent de collecter des images et des vidéos d'interactions humaines avec le monde. Bien que les interactions entre humains et objets aient été largement étudiées dans la vision à la troisième personne, ce problème a été moins exploré dans les configurations égocentriques et dans les scénarios industriels. Pour combler cette lacune, nous présentons MECCANO, le premier ensemble de données de vidéos égocentriques destiné à l'étude des interactions humain-objet dans des environnements similaires à ceux de l'industrie. MECCANO a été acquis par 20 participants qui ont été invités à construire un modèle de motocyclette, nécessitant ainsi des interactions avec de petits objets et outils. L'ensemble de données a été explicitement annoté pour la tâche de reconnaissance des interactions humain-objet sous un angle égocentrique. Plus précisément, chaque interaction a été étiquetée tant temporellement (avec des segments d'action) que spatialement (avec des boîtes englobantes d'objets actifs). Avec cet ensemble de données proposé, nous examinons quatre tâches différentes, incluant 1) la reconnaissance d'action, 2) la détection d'objets actifs, 3) la reconnaissance d'objets actifs et 4) la détection d'interactions humain-objet égocentrique, qui est une version revisitée de la tâche standard de détection d'interactions humain-objet. Les résultats baselines montrent que le dataset MECCANO constitue un benchmark difficile pour l'étude des interactions humain-objet égocentriques dans des scénarios industriels. Nous mettons ce dataset à disposition du public sur https://iplab.dmi.unict.it/MECCANO.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp