Apprentissage croisés entre modèles et flux pour la reconnaissance automatique d'actions humaines en mode auto-supervisé

En tenant compte de la capacité discriminative au niveau des instances, les méthodes d’apprentissage contrastif, telles que MoCo et SimCLR, ont été adaptées de la tâche initiale d’apprentissage des représentations d’images à la reconnaissance d’actions à partir de squelettes en mode auto-supervisé. Ces approches utilisent généralement plusieurs flux de données (par exemple, joints, mouvement et os) pour une apprentissage par ensemble, tout en laissant ouverte la question de la construction d’un espace de caractéristiques discriminatif au sein d’un seul flux, ainsi que de l’agrégation efficace des informations provenant de plusieurs flux. À cet effet, ce papier applique tout d’abord une nouvelle méthode d’apprentissage contrastif appelée BYOL pour apprendre à partir de données squelettiques, puis formule SkeletonBYOL comme une base simple mais efficace pour la reconnaissance d’actions à partir de squelettes en mode auto-supervisé. Inspiré par SkeletonBYOL, ce travail propose par la suite un cadre appelé Cross-Model and Cross-Stream (CMCS), qui combine l’apprentissage adversarial cross-modèle (CMAL) et l’apprentissage collaboratif cross-flux (CSCL). Plus précisément, CMAL apprend des représentations à partir d’un seul flux grâce à une perte adversariale cross-modèle afin d’obtenir des caractéristiques plus discriminatives. Pour agréger et interagir efficacement les informations provenant de plusieurs flux, CSCL est conçu en générant des pseudo-étiquettes de similarité issues de l’apprentissage par ensemble, utilisées comme supervision pour guider la génération de caractéristiques dans chaque flux individuel. Des expériences étendues sur trois jeux de données confirment les propriétés complémentaires entre CMAL et CSCL, et démontrent également que la méthode proposée atteint de meilleurs résultats que les méthodes de l’état de l’art, selon divers protocoles d’évaluation.