Transferierbares Interaktionswissen für die Detektion von Mensch-Objekt-Interaktionen

Die Erkennung von Mensch-Objekt-Interaktionen (Human-Object Interaction, HOI) ist ein zentrales Problem, um zu verstehen, wie Menschen mit Objekten interagieren. In diesem Paper untersuchen wir das Konzept der Interaktionsfähigkeit (interactiveness knowledge), das angibt, ob ein Mensch und ein Objekt miteinander interagieren oder nicht. Wir stellen fest, dass dieses Wissen über verschiedene HOI-Datensätze hinweg gelernt werden kann und somit die Lücke zwischen unterschiedlichen HOI-Kategorien-Setup’s schließt. Unser zentrales Konzept besteht darin, ein Interaktionsnetzwerk zu nutzen, um allgemeines Interaktionswissen aus mehreren HOI-Datensätzen zu erlernen und während der Inferenz vor der HOI-Klassifikation eine Nicht-Interaktion-Suppression (Non-Interaction Suppression, NIS) durchzuführen. Aufgrund der Generalisierungsfähigkeit des Interaktionswissens fungiert das Interaktionsnetzwerk als übertragbares Wissenslernmodell und kann mit beliebigen HOI-Erkennungsmodellen kombiniert werden, um hervorragende Ergebnisse zu erzielen. Wir nutzen sowohl menschliche Instanz- als auch Körperteil-Features, um die Interaktionsfähigkeit hierarchisch zu lernen – sowohl auf Instanzebene als auch auf Körperteilebene. Anschließend wird eine Konsistenzaufgabe vorgeschlagen, um den Lernprozess zu leiten und tiefere visuelle Hinweise auf Interaktionen zu extrahieren. Wir evaluieren die vorgeschlagene Methode umfassend auf HICO-DET, V-COCO sowie einem neu aufgebauten Datensatz namens PaStaNet-HOI. Mit dem gelernten Interaktionswissen übertrifft unsere Methode die bisher besten Ansätze in der HOI-Erkennung und bestätigt somit ihre Wirksamkeit und Flexibilität. Der Quellcode ist unter https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network verfügbar.