HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

InfoGCN: Repräsentationslernen für aktionsbasierte Erkennung am Menschen-Skelett

{Karthik Ramani QiXing Huang Sang Wan Lee Seunggeun Chi Myoung Hoon Ha Hyung-gun Chi}

InfoGCN: Repräsentationslernen für aktionsbasierte Erkennung am Menschen-Skelett

Abstract

Die aktionserkennung basierend auf menschlichen Skeletten bietet eine wertvolle Methode zur Erfassung der Komplexität menschlichen Verhaltens, da sie die komplexen Beziehungen zwischen physischen Einschränkungen und Absichten berücksichtigen kann. Obwohl mehrere Studien sich auf die Kodierung von Skelettdaten konzentriert haben, wurde bisher weniger Aufmerksamkeit darauf verwendet, diese Informationen in die latente Darstellung menschlicher Aktionen einzubetten. InfoGCN stellt einen Lernframework für die Aktionserkennung vor, der eine neuartige Lernzielsetzung und eine effektive Kodierungsstrategie kombiniert. Zunächst entwickeln wir ein informationsbottleneck-basiertes Lernziel, das das Modell anleitet, informativ aber kompakte latente Darstellungen zu erlernen. Um klassifikationsrelevante Informationen bereitzustellen, führen wir einen auf Aufmerksamkeit basierenden Graphen-Convolution-Operator ein, der die kontextabhängige innere Topologie menschlicher Aktionen erfasst. Zudem präsentieren wir eine multimodale Darstellung des Skeletts, die auf den relativen Positionen der Gelenke basiert und ergänzende räumliche Informationen für die Gelenke liefert. InfoGCN erreicht auf mehreren Benchmarks zur skelettbasierten Aktionserkennung die bisher beste Leistung: 93,0 % Genauigkeit auf dem NTU RGB+D 60 Cross-Subject-Teil, 89,8 % auf dem NTU RGB+D 120 Cross-Subject-Teil und 97,0 % auf NW-UCLA.

Benchmarks

BenchmarkMethodikMetriken
skeleton-based-action-recognition-on-n-uclaInfoGCN
Accuracy: 97.0
skeleton-based-action-recognition-on-ntu-rgbdInfoGCN
Accuracy (CS): 93.0
Accuracy (CV): 97.1
Ensembled Modalities: 6
skeleton-based-action-recognition-on-ntu-rgbd-1InfoGCN
Accuracy (Cross-Setup): 91.2
Accuracy (Cross-Subject): 89.8
Ensembled Modalities: 6

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
InfoGCN: Repräsentationslernen für aktionsbasierte Erkennung am Menschen-Skelett | Forschungsarbeiten | HyperAI