Command Palette
Search for a command to run...
Ein skelettbewusstes Graphen-Convolutional-Netzwerk für die Erkennung von Mensch-Objekt-Interaktionen
Ein skelettbewusstes Graphen-Convolutional-Netzwerk für die Erkennung von Mensch-Objekt-Interaktionen
Manli Zhu Edmond S. L. Ho Hubert P. H. Shum
Zusammenfassung
Die Erkennung von Mensch-Objekt-Interaktionen ist entscheidend für ein umfassendes Verständnis visueller Szenen. Insbesondere liefern räumliche Beziehungen zwischen Menschen und Objekten wichtige Hinweise für die Ableitung von Interaktionen. Dazu stellen wir ein skelettbehaftetes Graphen-Convolutional-Netzwerk für die Erkennung von Mensch-Objekt-Interaktionen vor, namens SGCN4HOI. Unser Netzwerk nutzt die räumlichen Beziehungen zwischen menschlichen und objektbezogenen Schlüsselpunkten, um fein strukturierte Wechselwirkungen mittels Graphen-Convolutionen zu erfassen. Es kombiniert diese geometrischen Merkmale mit visuellen Merkmalen sowie räumlichen Konfigurationsmerkmalen, die aus Mensch-Objekt-Paaren gewonnen werden. Darüber hinaus schlagen wir eine neuartige, auf dem Skelett basierende Darstellung von Objektschlüsselpunkten vor, um die strukturelle Information des Objekts besser zu bewahren und die Erkennung von Mensch-Objekt-Interaktionen zu erleichtern. Die Leistungsfähigkeit von SGCN4HOI wird anhand der öffentlichen Benchmark-Datenbank V-COCO evaluiert. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Ansatz die bisher besten auf Pose basierenden Modelle übertrifft und konkurrenzfähige Ergebnisse im Vergleich zu anderen Modellen erzielt.