Segmentation et reconnaissance d’actions fines de bout en bout à l’aide de modèles de champ aléatoire conditionnel et de codage parcimonieux discriminatif

La segmentation et la reconnaissance d'actions à grain fin est une tâche importante mais complexe. Étant donné une séquence longue et non tronquée de données cinématiques, la tâche consiste à classer l'action à chaque instant et à segmenter la série temporelle en la bonne séquence d'actions. Dans cet article, nous proposons un cadre novateur qui combine un modèle de champ aléatoire conditionnel (CRF) temporel avec une représentation puissante au niveau des images basée sur le codage parcimonieux discriminatif. Nous introduisons un algorithme de bout en bout pour apprendre conjointement les poids du modèle CRF, qui incluent les coûts de classification des actions et les coûts de transition entre les actions, ainsi qu'un dictionnaire surcomplet de primitives d'actions intermédiaires. Cela aboutit à un modèle CRF piloté par des caractéristiques de codage parcimonieux obtenues à l'aide d'un dictionnaire discriminatif partagé entre différentes actions et adapté à l'apprentissage de sorties structurées. Nous évaluons notre méthode sur trois tâches chirurgicales en utilisant des données cinématiques du jeu de données JIGSAWS, ainsi que sur une tâche de préparation alimentaire en utilisant des données d'accéléromètre du jeu de données 50 Salads. Nos résultats montrent que la méthode proposée se compare favorablement ou surpassent les méthodes de pointe actuelles.