Analyse HOI : Intégration et décomposition des interactions homme-objet

L'interaction homme-objet (HOI) se compose de trois composants : l'homme, l'objet et l'interaction implicite (verbe). Contrairement aux méthodes précédentes qui associent directement les pixels aux sémantiques HOI, nous proposons une nouvelle perspective pour l'apprentissage HOI, fondée sur une analyse rigoureuse. Inspirés de l'analyse harmonique, dont l'objectif est d'étudier comment représenter un signal par superposition de fonctions fondamentales (ondes élémentaires), nous introduisons une approche appelée « analyse HOI ». Nous affirmons que des interactions HOI cohérentes peuvent être décomposées en entités humaines et objets isolés, tandis que ces derniers peuvent être réintégrés pour reconstruire une interaction HOI cohérente. En outre, les transformations entre paires homme-objet correspondant à la même interaction HOI deviennent plus aisées à modéliser grâce à un processus d'intégration et de décomposition. En conséquence, le verbe implicite est représenté dans l'espace des fonctions de transformation. À cet effet, nous proposons un réseau d'Intégration-Décomposition (IDN) capable d'implémenter ces transformations, atteignant ainsi des performances de pointe sur les benchmarks standards de détection HOI. Le code est disponible à l'adresse suivante : https://github.com/DirtyHarryLYL/HAKE-Action-Torch/tree/IDN-(Integrating-Decomposing-Network).