Attention Guidée pour la Légendisation Interprétable du Mouvement

Des travaux divers et approfondis ont récemment été menés sur la génération de mouvements humains conditionnés par le texte. Cependant, les progrès dans la direction inverse, à savoir la légendage de mouvements (motion captioning), n'ont pas connu une avancée comparable. Dans cet article, nous présentons une nouvelle conception d'architecture qui améliore la qualité de la génération de texte en mettant l'accent sur l'interprétabilité grâce à des mécanismes d'attention spatio-temporelle et adaptative. Pour favoriser un raisonnement similaire à celui des humains, nous proposons des méthodes pour guider l'attention lors de l'entraînement, en mettant l'accent sur les zones squelettiques pertinentes au fil du temps et en distinguant les mots liés au mouvement. Nous discutons et quantifions l'interprétabilité de notre modèle à l'aide d'histogrammes et de distributions de densité pertinents. De plus, nous exploitons cette interprétabilité pour extraire des informations fines sur les mouvements humains, y compris la localisation des actions, l'identification des parties du corps et la distinction des mots liés au mouvement. Enfin, nous abordons la transférabilité de nos approches à d'autres tâches. Nos expériences montrent que le guidage de l'attention conduit à un légendage interprétable tout en améliorant les performances par rapport aux systèmes d'avant-garde non interprétables dotés d'un nombre élevé de paramètres. Le code est disponible à : https://github.com/rd20karim/M2T-Interpretable.