HyperAIHyperAI

Command Palette

Search for a command to run...

Skeleton-Bildrepräsentation für die 3D-Aktionserkennung basierend auf Baumstruktur und Referenzgelenken

Carlos Caetano François Brémond William Robson Schwartz

Zusammenfassung

In den letzten Jahren hat die Forschungsgemeinschaft im Bereich Computer Vision darauf abgezielt, die zeitliche Dynamik in Videos zu modellieren, um die Erkennung von 3D-Menschenaktionen zu verbessern. Hierzu wurden zwei Hauptansätze untersucht: (i) rekurrente neuronale Netze (RNNs) mit Long-Short Term Memory (LSTM); und (ii) Gelenkbildrepräsentationen, die als Eingabe für ein konvolutionales neuronales Netz (CNN) dienen. Obwohl RNN-Ansätze hervorragende Ergebnisse erzielen, fehlt ihnen die Fähigkeit, effizient die räumlichen Beziehungen zwischen den Gelenken des Skeletts zu lernen. Im Gegensatz dazu besitzen die für CNN-Ansätze verwendeten Darstellungen den Vorteil, über die natürliche Fähigkeit zu verfügen, strukturelle Informationen aus zweidimensionalen Arrays zu extrahieren (d. h., sie lernen räumliche Beziehungen zwischen den Gelenken des Skeletts). Um diese Darstellungen weiter zu verbessern, stellen wir die Tree Structure Reference Joints Image (TSRJI) vor – eine neuartige Gelenkbildrepräsentation, die als Eingabe für CNNs verwendet werden kann. Die vorgeschlagene Darstellung verbindet den Einsatz von Referenzgelenken mit einer Baumstruktur des Skeletts. Während die ersteren verschiedene räumliche Beziehungen zwischen den Gelenken einbeziehen, bewahrt die letztere wichtige räumliche Beziehungen durch die Durchquerung des Skelettbaums mittels eines Tiefensuchalgorithmus. Experimentelle Ergebnisse belegen die Wirksamkeit der vorgeschlagenen Darstellung für die 3D-Aktenerkennung auf zwei Datensätzen und erzielen dabei Zustand-des-Kunst-Ergebnisse auf dem jüngsten NTU RGB+D~120-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Skeleton-Bildrepräsentation für die 3D-Aktionserkennung basierend auf Baumstruktur und Referenzgelenken | Paper | HyperAI