Apprentissage conjoint de caractéristiques hétérogènes pour la reconnaissance d'activités à partir de données RGB-D

Dans cet article, nous nous concentrons sur l'apprentissage de caractéristiques hétérogènes pour la reconnaissance d'activités à partir de données RGB-D. Nous constatons que les caractéristiques provenant de différentes canaux (RGB, profondeur) peuvent partager certaines structures cachées similaires, et proposons alors un modèle d'apprentissage conjoint permettant d'explorer simultanément les composantes partagées et spécifiques aux caractéristiques, dans le cadre d'un apprentissage multi-tâches hétérogène. Le modèle proposé, formulé dans un cadre unifié, est capable de : 1) extraire conjointement un ensemble de sous-espaces de même dimension afin d'exploiter les caractéristiques partagées latentes entre les différents canaux de caractéristiques ; 2) quantifier simultanément les composantes partagées et spécifiques aux caractéristiques au sein de ces sous-espaces ; et 3) transférer des transformations intermédiaires spécifiques aux caractéristiques (i-transforms) afin d'apprendre la fusion de caractéristiques hétérogènes entre différents jeux de données. Pour entraîner efficacement ce modèle conjoint, nous proposons un algorithme d'optimisation itératif en trois étapes, suivi d'un modèle d'inférence simple. Des expérimentations étendues sur quatre jeux de données d'activités humaines démontrent l'efficacité de la méthode proposée. En outre, nous introduisons un nouveau jeu de données RGB-D axé sur les interactions homme-objet, qui pose des défis supplémentaires pour les benchmarks de reconnaissance d'activités RGB-D.