Reconnaissance d'actions basée sur les squelettes sans apprentissage supervisé par estimation et maximisation de l'information mutuelle

La reconnaissance d'actions basée sur des squelettes à zéro coup d'essai vise à reconnaître des actions de catégories inconnues après avoir été entraînée sur des données de catégories connues. L'objectif principal est de créer un lien entre l'espace visuel et l'espace sémantique, passant des classes connues aux classes inconnues. Les études précédentes se sont principalement concentrées sur le codage de séquences en un seul vecteur de caractéristiques, suivi d'une mise en correspondance de ces caractéristiques avec un point d'ancrage identique dans l'espace plongé. Leur performance est limitée par : 1) l'ignorance du alignement global des distributions visuelles et sémantiques, ce qui entrave la capacité de capturer la véritable interdépendance entre les deux espaces ; 2) la négligence de l'information temporelle, car les caractéristiques frame-par-frame riches en indices d'action sont directement regroupées en un seul vecteur de caractéristiques. Nous proposons une nouvelle méthode de reconnaissance d'actions basée sur des squelettes à zéro coup d'essai via l'estimation et la maximisation de l'information mutuelle (MI). Plus précisément : 1) nous maximisons l'information mutuelle entre l'espace visuel et l'espace sémantique pour aligner les distributions ; 2) nous exploitons l'information temporelle pour estimer la MI en encourageant son augmentation au fur et à mesure que plus d'images sont observées. De nombreuses expériences menées sur trois grands ensembles de données d'actions squelettiques ont confirmé l'efficacité de notre méthode. Code : https://github.com/YujieOuO/SMIE.