Pose-Schätzer und -Verfolger mit zeitlichen Flusskarten für Gliedmaßen

Für die Schätzung der menschlichen Körperhaltung in Videos ist es von großer Bedeutung, wie die zeitliche Information zwischen den Bildern genutzt wird. In dieser Arbeit schlagen wir temporale Flusskarten für Gliedmaßen (TML) und eine Multi-Stride-Methode zur Schätzung und Verfolgung von menschlichen Körperhaltungen vor. Die vorgeschlagenen temporalen Flusskarten sind Einheitsvektoren, die die Bewegungen der Gliedmaßen beschreiben. Wir haben ein Netzwerk entwickelt, das sowohl räumliche als auch zeitliche Informationen end-to-end lernt. Räumliche Informationen wie Gelenkwärmebilder und Partielle Affinitätsfelder werden im räumlichen Teil des Netzwerks regressiert, während die TML im zeitlichen Teil des Netzwerks regressiert wird. Zudem schlagen wir eine Datenverstärkungsmethode vor, um verschiedene Arten von TML besser zu lernen. Die vorgeschlagene Multi-Stride-Methode erweitert die Daten durch zufällige Auswahl von zwei Bildern innerhalb eines definierten Bereichs. Wir zeigen, dass die vorgeschlagene Methode effizient die menschliche Körperhaltung auf den PoseTrack 2017 und 2018 Datensätzen schätzt und verfolgt.