Réseau de neurones convolutionnel à graphe 3D à attention spatiale pour la reconnaissance de la langue des signes

La langue des signes constitue le principal moyen de communication pour les personnes sourdes. Il s'agit d'une langue visuelle qui transmet des composantes fortement structurées, tant au niveau des paramètres manuels que non manuels, ce qui rend son apprentissage particulièrement exigeant pour les personnes entendant. La reconnaissance de la langue des signes vise à faciliter cet apprentissage et à réduire le fossé de communication entre les personnes sourdes et les autres. Cette étude présente une architecture efficace pour la reconnaissance de la langue des signes fondée sur un réseau neuronal graphique à convolution (GCN). L'architecture proposée repose sur un petit nombre de couches de GCN 3D séparables, améliorées par un mécanisme d'attention spatiale. Le nombre limité de couches permet d'éviter le problème courant de sur-lissage dans les réseaux neuronaux graphiques profonds. En outre, le mécanisme d'attention renforce la représentation contextuelle spatiale des gestes. L'architecture proposée a été évaluée sur plusieurs jeux de données et a obtenu des résultats remarquables.