Attention par paires des parties du corps pour la reconnaissance des interactions humain-objet

Dans la reconnaissance des interactions humain-objet (HOI), les méthodes conventionnelles considèrent le corps humain dans son ensemble et accordent une attention uniforme à l'ensemble de la région corporelle. Elles négligent le fait que, normalement, l'interaction avec un objet se fait en utilisant certaines parties du corps. Dans cet article, nous soutenons que différentes parties du corps devraient recevoir des attentions différentes dans la reconnaissance HOI, et que les corrélations entre ces différentes parties devraient être davantage prises en compte. Cela est dû au fait que nos parties corporelles travaillent toujours de manière collaborative. Nous proposons un nouveau modèle d'attention par paires de parties corporelles qui peut apprendre à se concentrer sur les parties cruciales ainsi que leurs corrélations pour la reconnaissance HOI. Le modèle introduit une nouvelle méthode de sélection de caractéristiques basée sur l'attention et un schéma de représentation des caractéristiques capable de capturer les corrélations par paires entre les parties du corps. Notre approche proposée a obtenu une amélioration de 4 % par rapport aux résultats les plus avancés actuels en reconnaissance HOI sur le jeu de données HICO. Nous mettrons notre modèle et nos codes sources à disposition du public.