Übertragbares Interaktionswissen für die Detektion von Mensch-Objekt-Interaktionen

Die Erkennung von Mensch-Objekt-Interaktionen (HOI) ist ein wichtiges Problem zur Verständnis der Weise, wie Menschen mit Objekten interagieren. In dieser Arbeit untersuchen wir das Wissen über Interaktivität, das angibt, ob Mensch und Objekt miteinander interagieren oder nicht. Wir haben festgestellt, dass Wissen über Interaktivität über verschiedene HOI-Datensätze hinweg gelernt werden kann, unabhängig von den Kategorisierungseinstellungen der HOI. Unser zentrales Konzept besteht darin, ein Interaktivitätsnetzwerk zu nutzen, um allgemeines Wissen über Interaktivität aus mehreren HOI-Datensätzen zu lernen und eine Nicht-Interaktions-Unterdrückung vor der HOI-Klassifikation während der Inferenz durchzuführen. Aufgrund der Generalisierungsfähigkeit des Wissens über Interaktivität ist das Interaktivitätsnetzwerk ein übertragbarer Wissenslerner und kann mit jedem HOI-Erkennungsmodell zusammenarbeiten, um gewünschte Ergebnisse zu erzielen. Wir evaluieren die vorgeschlagene Methode ausführlich anhand der Datensätze HICO-DET und V-COCO. Unsere Framework übertreffen die aktuellen besten Ergebnisse in der HOI-Erkennung erheblich, was seine Effizienz und Flexibilität bestätigt. Der Quellcode ist unter https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network verfügbar.