Skeleton-Bildrepräsentation für die 3D-Aktionserkennung basierend auf Baumstruktur und Referenzgelenken

In den letzten Jahren hat die Forschungsgemeinschaft im Bereich Computer Vision darauf abgezielt, die zeitliche Dynamik in Videos zu modellieren, um die Erkennung von 3D-Menschenaktionen zu verbessern. Hierzu wurden zwei Hauptansätze untersucht: (i) rekurrente neuronale Netze (RNNs) mit Long-Short Term Memory (LSTM); und (ii) Gelenkbildrepräsentationen, die als Eingabe für ein konvolutionales neuronales Netz (CNN) dienen. Obwohl RNN-Ansätze hervorragende Ergebnisse erzielen, fehlt ihnen die Fähigkeit, effizient die räumlichen Beziehungen zwischen den Gelenken des Skeletts zu lernen. Im Gegensatz dazu besitzen die für CNN-Ansätze verwendeten Darstellungen den Vorteil, über die natürliche Fähigkeit zu verfügen, strukturelle Informationen aus zweidimensionalen Arrays zu extrahieren (d. h., sie lernen räumliche Beziehungen zwischen den Gelenken des Skeletts). Um diese Darstellungen weiter zu verbessern, stellen wir die Tree Structure Reference Joints Image (TSRJI) vor – eine neuartige Gelenkbildrepräsentation, die als Eingabe für CNNs verwendet werden kann. Die vorgeschlagene Darstellung verbindet den Einsatz von Referenzgelenken mit einer Baumstruktur des Skeletts. Während die ersteren verschiedene räumliche Beziehungen zwischen den Gelenken einbeziehen, bewahrt die letztere wichtige räumliche Beziehungen durch die Durchquerung des Skelettbaums mittels eines Tiefensuchalgorithmus. Experimentelle Ergebnisse belegen die Wirksamkeit der vorgeschlagenen Darstellung für die 3D-Aktenerkennung auf zwei Datensätzen und erzielen dabei Zustand-des-Kunst-Ergebnisse auf dem jüngsten NTU RGB+D~120-Datensatz.