Approche Hiérarchique NeuroSymbolique pour une Évaluation Complète et Explicable de la Qualité des Actions

L'évaluation de la qualité des actions (AQA) applique la vision par ordinateur pour évaluer quantitativement la performance ou l'exécution d'une action humaine. Les approches actuelles en AQA sont des modèles neuronaux bout-à-bout, qui manquent de transparence et ont tendance à être biaisés car ils sont formés sur des jugements humains subjectifs comme vérité terrain. Pour remédier à ces problèmes, nous introduisons un paradigme neuro-symbolique pour l'AQA, qui utilise des réseaux de neurones pour abstraire des symboles interprétables à partir de données vidéo et effectue des évaluations de qualité en appliquant des règles à ces symboles. Nous prenons le plongeon comme étude de cas. Nous avons constaté que les experts du domaine préfèrent notre système et le trouvent plus informatif que les approches purement neuronales en AQA pour le plongeon. Notre système atteint également l'état de l'art en reconnaissance d'actions et en segmentation temporelle, et génère automatiquement un rapport détaillé qui décompose le plongeon en ses éléments constitutifs et fournit une notation objective avec des preuves visuelles. Comme l'a vérifié un groupe d'experts du domaine, ce rapport peut être utilisé pour aider les juges dans leur notation, former les juges et fournir un retour d'information aux plongeurs. Données d'entraînement annotées et code : https://github.com/laurenok24/NSAQA.