Wir behandeln das anspruchsvolle Problem der Erkennung von Mensch-Objekt-Interaktionen (Human-Object Interaction, HOI). Bestehende Methoden erkennen entweder die Interaktion jedes Mensch-Objekt-Paares isoliert oder führen eine gemeinsame Inferenz basierend auf komplexen appearances-basierten Merkmalen durch. In diesem Artikel nutzen wir eine abstrakte räumlich-semantische Darstellung, um jedes Mensch-Objekt-Paar zu beschreiben, und aggregieren die Kontextinformationen der Szene über ein Dual-Relation-Graph-Modell (einen menschenzentrierten und einen objektzentrierten Graphen). Unser vorgeschlagener Dual-Relation-Graph erfasst effektiv diskriminative Hinweise aus der Szene, um die Mehrdeutigkeit lokaler Vorhersagen aufzulösen. Unser Modell ist konzeptionell einfach und erzielt im Vergleich zu den aktuell besten HOI-Erkennungsalgorithmen auf zwei großen Benchmark-Datensätzen überzeugende Ergebnisse.