Paarweise Aufmerksamkeit auf Körperteile zur Erkennung von Mensch-Objekt-Interaktionen

Bei der Erkennung von Mensch-Objekt-Interaktionen (HOI) betrachten herkömmliche Methoden den menschlichen Körper als Ganzes und legen gleichmäßige Aufmerksamkeit auf die gesamte Körperrégion. Sie ignorieren dabei, dass Menschen normalerweise mit Objekten durch bestimmte Körperteile interagieren. In dieser Arbeit argumentieren wir, dass bei der HOI-Erkennung unterschiedliche Körperteile unterschiedlich stark beachtet werden sollten und die Korrelationen zwischen verschiedenen Körperteilen weiter berücksichtigt werden müssen. Dies liegt daran, dass unsere Körperteile stets kollaborativ arbeiten. Wir schlagen ein neues Modell für paarweise Körperteil-Aufmerksamkeit vor, das lernen kann, sich auf entscheidende Teile und deren Korrelationen zu konzentrieren. Das Modell führt eine neuartige, aufmerksamkeitsbasierte Merkmalsauswahlmethode sowie ein Merkmalsrepräsentationsschema ein, das paarweise Korrelationen zwischen Körperteilen erfassen kann. Unser vorgeschlagener Ansatz erreichte eine Verbesserung um 4 % gegenüber den bisher besten Ergebnissen in der HOI-Erkennung im HICO-Datensatz. Wir werden unser Modell und die Quellcodes öffentlich zur Verfügung stellen.