Shap-Mix : Mélanges guidés par la valeur de Shapley pour la reconnaissance d’actions basée sur les squelettes en cas de distribution longue-taille

Dans les scénarios du monde réel, les actions humaines suivent souvent une distribution en queue longue. Cela entraîne une dégradation marquée des performances des méthodes existantes de reconnaissance d’actions basées sur les squelettes, conçues principalement sur la base de jeux de données équilibrés. Récemment, de nombreux efforts ont été déployés pour aborder l’apprentissage long-tailed sur images et vidéos. Toutefois, leur application directe aux données squelettiques peut s’avérer sous-optimale, en raison du manque de prise en compte des motifs spatio-temporels cruciaux, notamment pour certaines méthodologies spécifiques à un mode, telles que les augmentations de données. À cet égard, en tenant compte du rôle fondamental des parties du corps dans les actions humaines fortement localisées spatialement, nous nous concentrons sur les augmentations par mélange et proposons une nouvelle méthode, Shap-Mix, qui améliore l’apprentissage long-tailed en extrayant des motifs de mouvement représentatifs pour les catégories rares. Plus précisément, nous développons tout d’abord une stratégie efficace de mélange spatio-temporel pour les squelettes, afin d’améliorer la qualité des représentations. Ensuite, nous introduisons une méthode de guidage par salience, composée d’une estimation de salience fondée sur la valeur de Shapley et d’une politique de mélange consciente des catégories rares. Cette approche préserve les parties mouvantes significatives des classes minoritaires dans les données mélangées, établissant explicitement les liens entre les indices structurels corporels essentiels et les sémantiques de haut niveau. Des expériences étendues sur trois grands jeux de données squelettiques montrent une amélioration notable de nos performances, tant dans les configurations à distribution long-tailed qu’équilibrées. Le projet est disponible publiquement à l’adresse suivante : https://jhang2020.github.io/Projects/Shap-Mix/Shap-Mix.html.