Affordance Transfer Learning für die Erkennung von Mensch-Objekt-Interaktionen

Die Analyse der Interaktionen zwischen Menschen und Objekten (Human-Object Interactions, HOI) ist entscheidend für ein tieferes Verständnis von Szenen, während die Affordanzen (oder Funktionalitäten) von Objekten von großer Bedeutung sind, um Menschen bei der Entdeckung unbekannter HOIs mit neuen Objekten zu unterstützen. Inspiriert durch dies, stellen wir einen Ansatz des Affordanz-Transfer-Learnings vor, um HOIs mit neuen Objekten gemeinsam zu erkennen und Affordanzen zu klassifizieren. Insbesondere können HOI-Darstellungen in eine Kombination aus Affordanz- und Objekt-Darstellungen aufgeteilt werden, was es ermöglicht, neue Interaktionen durch die Kombination von Affordanz-Darstellungen und Darstellungen neuer Objekte aus zusätzlichen Bildern zu erzeugen, d.h. die Affordanz auf neue Objekte zu übertragen. Mit dem vorgeschlagenen Ansatz des Affordanz-Transfer-Learnings kann das Modell auch die Affordanzen neuer Objekte aus bekannten Affordanz-Darstellungen ableiten. Die vorgestellte Methode kann daher 1) die Leistungsfähigkeit der HOI-Erkennung verbessern, insbesondere für HOIs mit unbekannten Objekten; und 2) die Affordanzen neuer Objekte ableiten. Experimentelle Ergebnisse auf zwei Datensätzen, HICO-DET und HOI-COCO (aus V-COCO), zeigen erhebliche Verbesserungen im Vergleich zu den jüngsten Stand der Technik-Methoden für die Erkennung von HOIs und Objekt-Affordanzen. Der Code ist unter https://github.com/zhihou7/HOI-CL verfügbar.