Reconnaissance à grande échelle de gestes isolés à l'aide de réseaux neuronaux convolutionnels

Cet article propose trois représentations simples, compactes et efficaces de séquences de profondeur, respectivement appelées Images de Profondeur Dynamiques (Dynamic Depth Images - DDI), Images Normales de Profondeur Dynamiques (Dynamic Depth Normal Images - DDNI) et Images Normales de Mouvement de Profondeur Dynamiques (Dynamic Depth Motion Normal Images - DDMNI). Ces images dynamiques sont construites à partir d'une séquence de cartes de profondeur en utilisant un regroupement par rang bidirectionnel pour capturer efficacement les informations spatio-temporelles. De telles représentations basées sur des images nous permettent d'ajuster finement les modèles ConvNets existants entraînés sur des données d'images pour la classification des séquences de profondeur, sans introduire un grand nombre de paramètres à apprendre. Sur la base de ces représentations proposées, une méthode basée sur les réseaux neuronaux convolutifs (ConvNets) a été développée pour la reconnaissance des gestes et évaluée dans le cadre du défi Large-scale Isolated Gesture Recognition organisé par ChaLearn Looking at People (LAP) en 2016. La méthode a atteint une précision de classification de 55,57\% et s'est classée deuxième dans ce défi, bien qu'elle n'était que très légèrement derrière la meilleure performance malgré l'utilisation exclusive de données de profondeur.