Erkennung von Mensch-Objekt-Interaktion durch gefälschtes kompositionales Lernen

Die Detektion von Human-Objekt-Interaktionen (HOI), die das Ermitteln der Beziehungen zwischen Menschen und Objekten in Bildern/Videos umfasst, ist eine grundlegende Aufgabe für die hochstufige Szenerkennung. Allerdings leidet die HOI-Detektion oft an der offenen, langschwänzigen Natur der Interaktionen mit Objekten, während Menschen über eine extrem leistungsfähige kombinatorische Wahrnehmungsfähigkeit verfügen, um seltene oder unbekannte HOI-Beispiele zu erkennen. Inspiriert durch dies, entwickeln wir ein neues Framework für kombinatorisches Lernen bei HOIs, das als Fabricated Compositional Learning (FCL) bezeichnet wird, um das Problem der offenen, langschwänzigen HOI-Detektion anzugehen. Insbesondere führen wir einen Objektgenerierer ein, um effektive Objektrepräsentationen zu erzeugen, und kombinieren dann Verben mit generierten Objekten, um neue HOI-Beispiele zu komponieren. Mit dem vorgeschlagenen Objektgenerierer können wir großskalige HOI-Beispiele für seltene und unbekannte Kategorien erzeugen, um die offenen, langschwänzigen Probleme in der HOI-Detektion zu lindern. Ausführliche Experimente auf dem beliebtesten Dataset für HOI-Detektion, HICO-DET, zeigen die Effektivität der vorgeschlagenen Methode bei unbalancierter HOI-Detektion und verbessern signifikant den Stand der Technik in Bezug auf seltene und unbekannte HOI-Kategorien. Der Quellcode ist unter https://github.com/zhihou7/HOI-CL verfügbar.