SL-DML : Apprentissage profond de métriques au niveau du signal pour la reconnaissance d'actions multimodales en une seule prise

La reconnaissance d'une activité à partir d'un seul échantillon de référence en utilisant des approches d'apprentissage métrique est un domaine de recherche prometteur. La majorité des méthodes à quelques exemples se concentrent sur la reconnaissance d'objets ou l'identification faciale. Nous proposons une approche d'apprentissage métrique pour réduire le problème de reconnaissance d'actions à une recherche du plus proche voisin dans l'espace d'embedding. Nous codons les signaux en images et extrayons des caractéristiques à l'aide d'un CNN résiduel profond. En utilisant la perte par triplet, nous apprenons un embedding de caractéristiques. L'encodeur résultant transforme les caractéristiques dans un espace d'embedding où les distances plus courtes encodent des actions similaires tandis que les distances plus grandes encodent des actions différentes. Notre approche est basée sur une formulation au niveau du signal et reste flexible pour diverses modalités. Elle dépasse également la méthode de base de 5,6 % sur le grand ensemble de données NTU RGB+D 120 pour le protocole de reconnaissance d'action One-Shot. Avec seulement 60 % des données d'entraînement, notre approche dépasse toujours la méthode de base de 3,7 %. Avec 40 % des données d'entraînement, notre approche performe aussi bien que la deuxième méthode suivante. De plus, nous montrons que notre approche généralise bien dans des expériences sur l'ensemble de données UTD-MHAD pour les données inertielles, squelettiques et fusionnées, ainsi que sur l'ensemble de données Simitate pour les données de capture de mouvement. Nos expériences inter-articulaires et inter-capteurs suggèrent également une bonne capacité à fonctionner avec des configurations inédites.