HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Aktionserkennung auf Basis von Skeletten mit gerichteten Graphen neuronalen Netzwerken

{ Hanqing Lu Jian Cheng Yifan Zhang Lei Shi}

Aktionserkennung auf Basis von Skeletten mit gerichteten Graphen neuronalen Netzwerken

Abstract

Die Skelett-Daten werden seit langem für Aufgaben der Aktionserkennung eingesetzt, da sie robust gegenüber dynamischen Bedingungen und komplexen Hintergründen sind. In bestehenden Methoden hat sich gezeigt, dass sowohl die Gelenk- als auch die Knocheninformationen in den Skelett-Daten für die Aktionserkennung von großem Nutzen sind. Allerdings bleibt die Frage offen, wie diese beiden Datentypen am besten integriert werden können, um die Beziehung zwischen Gelenken und Knochen optimal auszunutzen. In dieser Arbeit stellen wir die Skelett-Daten basierend auf der kinematischen Abhängigkeit zwischen Gelenken und Knochen im menschlichen Körper als gerichteten azyklischen Graphen dar. Es wird ein neuartiges gerichtetes Graphen-Neuronales Netzwerk speziell entworfen, um sowohl Gelenk- und Knocheninformationen als auch deren Beziehungen zu extrahieren und auf Basis der gewonnenen Merkmale Vorhersagen zu treffen. Zudem wird die topologische Struktur des Graphen während des Trainingsprozesses adaptiv angepasst, um die Aufgabe der Aktionserkennung besser zu unterstützen, was zu einer signifikanten Leistungssteigerung führt. Darüber hinaus wird die Bewegungsinformation der Skelett-Sequenz ausgenutzt und in einem zwei-Stream-Framework mit der räumlichen Information kombiniert, um die Gesamtleistung weiter zu verbessern. Unser endgültiges Modell wird auf zwei großen Datensätzen, NTU-RGBD und Skeleton-Kinetics, getestet und erreicht auf beiden Datensätzen eine Leistung, die die aktuell besten Ergebnisse übertrifft.

Benchmarks

BenchmarkMethodikMetriken
skeleton-based-action-recognition-on-kineticsDGNN
Accuracy: 36.9
skeleton-based-action-recognition-on-ntu-rgbdDGNN
Accuracy (CS): 89.9
Accuracy (CV): 96.1
skeleton-based-action-recognition-on-uavDGNN
CSv1(%): 29.90

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Aktionserkennung auf Basis von Skeletten mit gerichteten Graphen neuronalen Netzwerken | Forschungsarbeiten | HyperAI