Connaissance transférable d'interactivité pour la détection des interactions homme-objet

La détection d’interactions homme-objet (HOI) est un problème crucial pour comprendre la manière dont les humains interagissent avec les objets. Dans cet article, nous explorons une connaissance relative à l’interactivité, qui indique si un humain et un objet interagissent ou non. Nous avons constaté que cette connaissance d’interactivité peut être apprise à travers différents jeux de données HOI, permettant ainsi de combler l’écart entre les différentes configurations de catégories HOI. Notre idée centrale consiste à exploiter un réseau d’interactivité pour apprendre cette connaissance générale à partir de plusieurs jeux de données HOI, et à appliquer une suppression des non-interactions (NIS, Non-Interaction Suppression) avant la classification HOI lors de l’inférence. Grâce à sa capacité de généralisation, le réseau d’interactivité agit comme un apprenant de connaissances transférables, pouvant être combiné avec n’importe quel modèle de détection HOI afin d’obtenir de bons résultats. Nous utilisons conjointement les caractéristiques des instances humaines et des parties du corps pour apprendre l’interactivité selon un cadre hiérarchique, à la fois au niveau de l’instance et au niveau des parties du corps. Par la suite, une tâche de cohérence est proposée afin de guider l’apprentissage et d’extraire des indices visuels d’interaction plus profonds. Nous évaluons de manière exhaustive la méthode proposée sur les jeux de données HICO-DET, V-COCO, ainsi que sur un nouveau jeu de données, PaStaNet-HOI. Grâce à l’apprentissage de la connaissance d’interactivité, notre méthode surpasser les méthodes de détection HOI les plus avancées, confirmant ainsi son efficacité et sa flexibilité. Le code est disponible à l’adresse suivante : https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.