Fusion virtuelle avec apprentissage contrastif pour la reconnaissance d'activités à partir d'un seul capteur

Différents types de capteurs peuvent être utilisés pour la reconnaissance des activités humaines (HAR), chacun présentant ses propres avantages et inconvénients. Dans certains cas, un seul capteur ne peut pas observer complètement les mouvements de l’utilisateur depuis son point de vue, ce qui entraîne des prédictions erronées. Bien que la fusion de capteurs permette d’obtenir davantage d’informations pour la HAR, elle comporte de nombreux inconvénients intrinsèques, tels que la violation de la vie privée de l’utilisateur, son refus d’acceptation, ainsi que des coûts élevés en matière de configuration, d’exploitation et de maintenance. Pour surmonter ce problème, nous proposons une nouvelle méthode appelée Virtual Fusion, qui exploite durant l’entraînement des données non étiquetées provenant de plusieurs capteurs synchronisés dans le temps, tout en n’exigeant qu’un seul capteur lors de l’inférence. L’apprentissage contrastif est adopté pour tirer parti des corrélations entre les capteurs. Virtual Fusion obtient une précision significativement supérieure à celle obtenue en entraînant avec un seul capteur, et dans certains cas, elle dépasse même les performances de la fusion réelle utilisant plusieurs capteurs au moment de l’évaluation. Nous étendons également cette méthode à une version plus générale appelée Actual Fusion within Virtual Fusion (AFVF), qui utilise un sous-ensemble des capteurs d’entraînement lors de l’inférence. Notre approche atteint des résultats de précision et de score F1 au niveau de l’état de l’art sur les jeux de données de référence UCI-HAR et PAMAP2. Une implémentation est disponible sur demande.