PoseRAC: Pose-Salienz-Transformer für die Zählung wiederholter Aktionen

Dieses Papier leistet einen bedeutenden Beitrag zum Bereich der Zählung wiederholter Aktionen durch die Einführung eines neuen Ansatzes, der als Pose-Salienz-Darstellung (Pose Saliency Representation) bezeichnet wird. Die vorgeschlagene Methode stellt jede Aktion effizient mit nur zwei salienten Poses dar, anstatt redundante Frames zu verwenden, was die Rechenkosten erheblich reduziert und gleichzeitig die Leistung verbessert. Darüber hinaus stellen wir eine posebasierte Methode vor, PoseRAC, die auf dieser Darstellung basiert und durch die Verwendung von Pose-Salienz-Annotationen (Pose Saliency Annotation) zur Annotation salienter Poses für das Training den Stand der Technik in zwei neuen Datensätzen erreicht. Unser leichtgewichtiges Modell ist hochgradig effizient und benötigt lediglich 20 Minuten für das Training auf einer GPU, wobei es fast zehnmal schneller inferiert als frühere Methoden. Zudem erreicht unser Ansatz eine erhebliche Verbesserung gegenüber dem bisherigen Stand der Technik TransRAC, indem er ein OBO-Maß von 0,56 gegenüber 0,29 von TransRAC erzielt. Der Code und der neue Datensatz sind unter https://github.com/MiracleDance/PoseRAC für weitere Forschung und Experimente verfügbar, was unseren vorgeschlagenen Ansatz für die Wissenschaftsgemeinschaft leicht zugänglich macht.