Ansichtsadaptable Neuronale Netze für die hochleistungsfähige Skelettbasierte Erkennung menschlicher Aktionen

Die Erkennung menschlicher Aktivitäten auf Skelettbasis hat dank der Verfügbarkeit und Beliebtheit von 3D-Skelettdaten in letzter Zeit zunehmend an Bedeutung gewonnen. Eine der Hauptausforderungen bei der Erkennung von Aktivitäten auf Skelettbasis besteht in den großen Sichtveränderungen beim Erfassen von Daten. Um die Auswirkungen dieser Sichtveränderungen zu mildern, stellt diese Arbeit ein neues Verfahren zur Anpassung der Sichtweisen vor, das die virtuellen Beobachtungspunkte automatisch auf lernbasierte, datengetriebene Weise bestimmt. Wir entwickeln zwei sichtanpassende neuronale Netze, nämlich VA-RNN basierend auf RNN und VA-CNN basierend auf CNN. Für jedes Netzwerk lernt ein neu entworfenes Modul zur Sichtanpassung die am besten geeigneten Beobachtungspunkte und transformiert die Skelette in diese Punkte für eine end-to-end-Erkennung mit einem Hauptklassifikationsnetzwerk. Abstraktionsstudien zeigen, dass die vorgeschlagenen sichtanpassenden Modelle in der Lage sind, die Skelette verschiedener Perspektiven in viel konsistentere virtuelle Beobachtungspunkte zu transformieren, was den Einfluss der Perspektive weitgehend beseitigt. Darüber hinaus haben wir ein Zweistromschema (als VA-Fusion bezeichnet) entwickelt, das die Bewertungen der beiden Netze fusioniert, um eine kombinierte Vorhersage zu liefern. Ausführliche experimentelle Evaluierungen an fünf anspruchsvollen Benchmarks demonstrieren die Effektivität der vorgeschlagenen sichtanpassenden Netze sowie ihre überlegene Leistung im Vergleich zu den bislang besten Ansätzen. Der Quellcode ist unter https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition verfügbar.