PoseRAC : Transformateur de Saliences de Pose pour le Comptage d'Actions Répétitives

Ce document présente une contribution significative au domaine du décompte d'actions répétitives grâce à l'introduction d'une nouvelle approche appelée Représentation de Pose Saliente (Pose Saliency Representation). La méthode proposée représente efficacement chaque action en utilisant uniquement deux poses salientes plutôt que des images redondantes, ce qui réduit considérablement le coût computationnel tout en améliorant les performances. De plus, nous introduisons une méthode au niveau des poses, PoseRAC, basée sur cette représentation et qui atteint des performances de pointe sur deux nouveaux jeux de données en utilisant l'Annotation de Pose Saliente pour annoter les poses salientes lors de l'entraînement. Notre modèle léger est très efficace, nécessitant seulement 20 minutes d'entraînement sur une GPU, et infère presque 10 fois plus rapidement que les méthodes précédentes. En outre, notre approche réalise une amélioration substantielle par rapport à la méthode TransRAC précédemment considérée comme étant de pointe, atteignant un métrique OBO de 0,56 contre 0,29 pour TransRAC. Le code source et le nouveau jeu de données sont disponibles sur https://github.com/MiracleDance/PoseRAC pour des recherches et expérimentations ultérieures, rendant ainsi notre approche proposée hautement accessible à la communauté scientifique.