HyperAIHyperAI

Command Palette

Search for a command to run...

H2O : Manipulation d'objets par deux mains pour la reconnaissance d'interactions en première personne

Taein Kwon Bugra Tekin Jan Stühmer Federica Bogo Marc Pollefeys

Résumé

Nous présentons un cadre complet pour la reconnaissance d'interactions égocentriquesen utilisant des annotations 3D sans marqueur de deux mains manipulant des objets. À cette fin,nous proposons une méthode pour créer un ensemble de données unifié pour la reconnaissanceégocentrique 3D des interactions. Notre méthode génère des annotations de la posture 3Dde deux mains et de la posture 6D des objets manipulés, ainsi que leurs étiquettes d'interactionpour chaque image. Notre ensemble de données, appelé H2O (2 Mains et Objets), fournitdes images RGB-D synchronisées à plusieurs vues, des étiquettes d'interaction, des classes d'objets,les postures 3D réelles pour les mains gauche et droite, les postures 6D des objets,les postures réelles des caméras, les maillages d'objets et les nuages de points de scène. À notre connaissance, c'est le premier benchmark qui permet l'étude des actions en première personneen utilisant la posture des deux mains gauche et droite manipulant des objets et qui présenteun niveau de détail sans précédent pour la reconnaissance égocentrique 3D des interactions.Nous proposons également une méthode pour prédire les classes d'interaction en estimantla posture 3D de deux mains et la posture 6D des objets manipulés, conjointement à partir d'images RGB.Notre méthode modélise à la fois les dépendances inter- et intra-mains et objets en apprenantla topologie d'un réseau neuronal convolutif graphique qui prédit les interactions.Nous montrons que notre méthode, facilitée par cet ensemble de données, établit une base solidepour l'estimation conjointe de la posture main-objet et atteint une précision au niveau de l'état de l'artpour la reconnaissance d'interactions en première personne.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
H2O : Manipulation d'objets par deux mains pour la reconnaissance d'interactions en première personne | Articles | HyperAI