Graphes conditionnés spatialement pour la détection des interactions homme-objet

Nous abordons le problème de la détection des interactions homme-objet dans les images en utilisant des réseaux neuronaux graphiques. Contrairement aux méthodes conventionnelles, où les nœuds envoient des messages identiques mais ajustés en amplitude à chacun de leurs voisins, nous proposons de conditionner les messages échangés entre paires de nœuds en fonction de leurs relations spatiales, ce qui entraîne l’envoi de messages distincts vers les voisins d’un même nœud. À cette fin, nous explorons diverses approches de conditionnement spatial dans le cadre d’une architecture à plusieurs branches. À travers des expérimentations approfondies, nous démontrons les avantages du conditionnement spatial pour la construction de la structure d’adjacence, le calcul des messages et l’amélioration des caractéristiques du graphe. En particulier, nous montrons empiriquement que, à mesure que la qualité des boîtes englobantes s’améliore, les caractéristiques visuelles grossières des objets contribuent relativement moins à la clarification des interactions par rapport aux informations spatiales. Notre méthode atteint un mAP de 31,33 % sur HICO-DET et de 54,2 % sur V-COCO, surpassant significativement les méthodes de pointe sur les détections affinées.