iCAN: Instanzzentriertes Aufmerksamkeitsnetzwerk für die Erkennung von Mensch-Objekt-Interaktionen

In den letzten Jahren wurde rascher Fortschritt bei der Erkennung und Identifizierung einzelner Objektinstanzen beobachtet. Um jedoch die Situation in einer Szene zu verstehen, müssen Computer erkennen, wie Menschen mit umliegenden Objekten interagieren. In dieser Arbeit befassen wir uns mit der anspruchsvollen Aufgabe der Erkennung von Mensch-Objekt-Interaktionen (HOI). Unser zentrales Konzept ist, dass das Erscheinungsbild einer Person oder eines Objektinstanzes aufschlussreiche Hinweise darauf gibt, welche relevanten Bereiche eines Bildes für die Vorhersage von Interaktionen beachtet werden sollten. Um diese Hinweise zu nutzen, schlagen wir ein instanzzentriertes Aufmerksamkeitsmodul vor, das lernen kann, Regionen in einem Bild dynamisch hervorzuheben, abhängig vom Erscheinungsbild jeder Instanz. Ein solches aufmerksamkeitbasiertes Netzwerk ermöglicht es uns, selektiv Merkmale zu aggregieren, die für die Erkennung von HOIs relevant sind. Wir überprüfen die Effizienz des vorgeschlagenen Netzwerks anhand der Datasets Verb in COCO und HICO-DET und zeigen, dass unser Ansatz sich günstig mit den Stand der Technik vergleicht.