Connaissances Transférables d'Interactivité pour la Détection de l'Interaction Homme-Objet

La détection d'interaction humain-objet (HOI) est un problème important pour comprendre comment les humains interagissent avec les objets. Dans cet article, nous explorons la connaissance de l'interactivité, qui indique si un humain et un objet interagissent ou non. Nous avons constaté que cette connaissance de l'interactivité peut être apprise à travers différents ensembles de données HOI, indépendamment des catégories d'HOI définies. Notre idée centrale consiste à exploiter un réseau d'interactivité pour apprendre une connaissance générale de l'interactivité à partir de plusieurs ensembles de données HOI et à effectuer une suppression des non-interactions avant la classification HOI lors de l'inférence. Grâce à la généralisation de l'interactivité, le réseau d'interactivité est un apprenant de connaissances transférables et peut être associé à n'importe quel modèle de détection d'HOI pour obtenir des résultats satisfaisants. Nous évaluons exhaustivement la méthode proposée sur les ensembles de données HICO-DET et V-COCO. Notre cadre dépasse les résultats actuels d'état de l'art en détection d'HOI avec une marge considérable, confirmant son efficacité et sa flexibilité. Le code est disponible sur https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.