Raumlich bedingte Graphen zur Erkennung von Mensch-Objekt-Interaktionen

Wir behandeln das Problem der Erkennung von mensch-objekt-Interaktionen in Bildern mittels graphbasierten neuronalen Netzwerken. Im Gegensatz zu herkömmlichen Ansätzen, bei denen Knoten ihren Nachbarn identische, lediglich skalierte Nachrichten senden, schlagen wir vor, die Nachrichten zwischen Knotenpaaren auf deren räumliche Beziehungen zu konditionieren, wodurch unterschiedliche Nachrichten an die Nachbarn desselben Knotens gesendet werden. Dazu untersuchen wir verschiedene Ansätze zur räumlichen Konditionierung innerhalb einer mehrästigen Architektur. Durch umfangreiche Experimente zeigen wir die Vorteile der räumlichen Konditionierung für die Berechnung der Adjazenzstruktur, der Nachrichten und der verfeinerten Graphmerkmale auf. Insbesondere belegen wir empirisch, dass mit zunehmender Qualität der Bounding Boxes deren grobe visuelle Merkmale im Vergleich zu räumlichen Informationen relativ weniger zur Entschärfung von Interaktionsambiguitäten beitragen. Unser Ansatz erreicht eine mAP von 31,33 % auf HICO-DET und 54,2 % auf V-COCO und übertrifft damit signifikant die bisherigen State-of-the-Art-Methoden bei feinabgestimmten Detektionen.