Transfert d'Affordance pour la Détection d'Interactions Homme-Objet

La compréhension des interactions humain-objet (HOI) est essentielle pour une analyse plus approfondie des scènes, tandis que les affordances des objets (ou leurs fonctionnalités) sont d'une grande importance pour permettre aux humains de découvrir de nouvelles HOIs avec des objets inconnus. Inspirés par cette constatation, nous introduisons une approche d'apprentissage par transfert d'affordance visant à détecter conjointement les HOIs impliquant des objets inconnus et à reconnaître les affordances. Plus précisément, les représentations des HOIs peuvent être dissociées en une combinaison de représentations d'affordance et de représentations d'objets, ce qui rend possible la composition de nouvelles interactions en combinant des représentations d'affordance et des représentations d'objets inconnus provenant d'images supplémentaires, c'est-à-dire en transférant l'affordance vers des objets inconnus. Grâce à l'apprentissage par transfert d'affordance proposé, le modèle est également capable d'inférer les affordances des objets inconnus à partir de représentations d'affordance connues. La méthode proposée peut donc être utilisée pour 1) améliorer les performances de la détection des HOIs, en particulier pour les HOIs impliquant des objets inconnus ; et 2) inférer les affordances des objets inconnus. Les résultats expérimentaux sur deux jeux de données, HICO-DET et HOI-COCO ( issu de V-COCO), montrent des améliorations significatives par rapport aux méthodes récentes de pointe pour la détection des HOIs et la détection des affordances des objets.Le code est disponible à l'adresse : https://github.com/zhihou7/HOI-CL