Nous abordons le problème difficile de la détection des interactions homme-objet (HOI). Les méthodes existantes reconnaissent soit les interactions de chaque paire homme-objet de manière isolée, soit effectuent une inférence conjointe basée sur des caractéristiques complexes fondées sur l’apparence. Dans cet article, nous exploitons une représentation abstraite spatiale et sémantique pour décrire chaque paire homme-objet, et aggregons les informations contextuelles de la scène à l’aide d’un graphe de relations dual (un centré sur l’homme et un centré sur l’objet). Notre graphe de relations dual capte efficacement des indices discriminants provenant de la scène afin de résoudre l’ambiguïté des prédictions locales. Notre modèle est conceptuellement simple et obtient des résultats favorables par rapport aux algorithmes les plus avancés de détection HOI sur deux grands jeux de données de référence.