Lernen eines latenten globalen Netzwerks für die aktionsbasierte Vorhersage auf Basis von Skelettdaten

Menschliche Handlungen, die mittels 3D-Skelettsequenzen dargestellt werden, sind robust gegenüber gruppierten Hintergründen und Lichtveränderungen. In diesem Artikel untersuchen wir die handlungsorientierte Vorhersage basierend auf Skeletten, die darauf abzielt, eine Handlung aus einer partiellen Skelettsequenz zu erkennen, die unvollständige Handlungsinformationen enthält. Wir schlagen ein neues latentes globales Netzwerk vor, das auf adversarieller Lernmethodik basiert, um die Handlungsvorhersage zu verbessern. Wir zeigen, dass das vorgeschlagene Netzwerk latente langfristige globale Informationen bereitstellt, die ergänzend zur lokalen Handlungsinformation der partiellen Sequenzen wirken und somit die Handlungsvorhersage unterstützen. Zudem belegen wir, dass die Handlungsvorhersage durch die Kombination der latente globalen Information mit der lokalen Handlungsinformation verbessert werden kann. Wir testen die vorgeschlagene Methode auf drei anspruchsvollen Skelett-Datensätzen und berichten über eine state-of-the-art-Leistung.