HyperAIHyperAI
vor 12 Tagen

Nicht-lokale Graph-Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skeletten

{Hanqing Lu, Jian Cheng, Yifan Zhang, Lei Shi}
Nicht-lokale Graph-Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skeletten
Abstract

Traditionelle tiefgreifende Methoden zur actionsbasierten Erkennung auf der Grundlage von Skeletten strukturieren das Skelett in der Regel als Koordinatenfolge oder als Pseudobild, um es RNNs oder CNNs zuzuführen, wodurch die natürliche Verbindung zwischen den Gelenken nicht explizit ausgenutzt werden kann. In jüngster Zeit haben Graphen-Convolutional Networks (GCNs), die CNNs auf allgemeinere, nicht-euklidische Strukturen verallgemeinern, beachtliche Leistungen bei der actionsbasierten Erkennung auf der Grundlage von Skeletten erzielt. Allerdings wird die Topologie des Graphen manuell festgelegt und über alle Schichten hinweg fixiert, was möglicherweise nicht optimal für die Aufgabe der Actionserkennung und hierarchischer CNN-Architekturen ist. Darüber hinaus wird in früheren GCNs hauptsächlich die erste Ordnungsinformation (die Koordinaten der Gelenke) genutzt, während die zweite Ordnungsinformation (Länge und Richtung der Knochen) bisher weniger ausgenutzt wurde. In dieser Arbeit wird ein neuartiges zweistromiges nichtlokales Graphen-Convolutional Network vorgestellt, um diese Probleme zu lösen. Die Topologie des Graphen in jeder Schicht des Modells kann entweder gleichmäßig oder individuell mittels des Backpropagation-Algorithmus gelernt werden, was eine höhere Flexibilität und Allgemeingültigkeit ermöglicht. Gleichzeitig wird ein zweistromiges Framework vorgeschlagen, das sowohl die Gelenk- als auch die Knocheninformationen gleichzeitig modelliert und somit die Erkennungsleistung weiter verbessert. Umfassende Experimente auf zwei großen Datensätzen, NTU-RGB+D und Kinetics, belegen, dass die Leistung unseres Modells die bisherigen State-of-the-Art-Methoden deutlich übertrifft.

Nicht-lokale Graph-Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skeletten | Neueste Forschungsarbeiten | HyperAI