HyperAIHyperAI

Command Palette

Search for a command to run...

Transfert d'Affordance pour la Détection d'Interactions Homme-Objet

Hou Zhi ; Yu Baosheng ; Qiao Yu ; Peng Xiaojiang ; Tao Dacheng

Résumé

La compréhension des interactions humain-objet (HOI) est essentielle pour une analyse plus approfondie des scènes, tandis que les affordances des objets (ou leurs fonctionnalités) sont d'une grande importance pour permettre aux humains de découvrir de nouvelles HOIs avec des objets inconnus. Inspirés par cette constatation, nous introduisons une approche d'apprentissage par transfert d'affordance visant à détecter conjointement les HOIs impliquant des objets inconnus et à reconnaître les affordances. Plus précisément, les représentations des HOIs peuvent être dissociées en une combinaison de représentations d'affordance et de représentations d'objets, ce qui rend possible la composition de nouvelles interactions en combinant des représentations d'affordance et des représentations d'objets inconnus provenant d'images supplémentaires, c'est-à-dire en transférant l'affordance vers des objets inconnus. Grâce à l'apprentissage par transfert d'affordance proposé, le modèle est également capable d'inférer les affordances des objets inconnus à partir de représentations d'affordance connues. La méthode proposée peut donc être utilisée pour 1) améliorer les performances de la détection des HOIs, en particulier pour les HOIs impliquant des objets inconnus ; et 2) inférer les affordances des objets inconnus. Les résultats expérimentaux sur deux jeux de données, HICO-DET et HOI-COCO ( issu de V-COCO), montrent des améliorations significatives par rapport aux méthodes récentes de pointe pour la détection des HOIs et la détection des affordances des objets.Le code est disponible à l'adresse : https://github.com/zhihou7/HOI-CL


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp