Einheitliche Graph-Embedding-Features mit Graphen-Convolutional Networks für die actionsbasierte Anerkennung auf Basis von Skeletten

Die Kombination von Skelettstrukturen mit graphenbasierten Faltungsnetzwerken hat erhebliche Fortschritte bei der Erkennung menschlicher Aktionen erzielt. Da die aktuelle Forschung sich hauptsächlich auf die Gestaltung grundlegender Graphen zur Darstellung von Skelett-Daten konzentriert, enthalten diese Embedding-Features lediglich grundlegende topologische Informationen und können daher keine systematischeren Perspektiven aus den Skelett-Daten lernen. In diesem Artikel überwinden wir diese Einschränkung durch die Einführung eines neuartigen Frameworks, das 15 verschiedene graphenbasierte Embedding-Features in ein graphenbasiertes Faltungsnetzwerk integriert, um die Erkennung menschlicher Aktionen zu optimieren. Ziel ist es, die vollen Vorteile der graphenbasierten Information vollständig auszunutzen, um Schlüsselgelenke, Knochen und Körperabschnitte in menschlichen Bewegungen präzise zu unterscheiden, anstatt sich auf eine einzelne Merkmalsart oder Domäne zu beschränken. Zudem untersuchen wir umfassend, wie die optimalen Graph-Features der Skelettstruktur identifiziert werden können, um die Leistung der Aktionserkennung weiter zu verbessern. Darüber hinaus wird die topologische Struktur der Skelettsequenz in einem Multi-Stream-Framework exploriert, um die Gesamtleistung weiter zu steigern. Zudem werden die vereinheitlichten Graph-Features adaptiv während des Trainingsprozesses extrahiert, was zusätzliche Verbesserungen ermöglicht. Unser Modell wird an drei großen Datensätzen validiert: NTU-RGB+D, Kinetics und SYSU-3D, und erreicht dabei eine bessere Leistung als die derzeitigen State-of-the-Art-Methoden. Insgesamt trägt unsere Arbeit durch die Vereinheitlichung graphenbasierter Embedding-Features zu einer systematischeren Forschung im Bereich der menschlichen Aktionserkennung bei.