Une étude sur les architectures convolutionnelles pour la reconnaissance de formes de main appliquée à la langue des signes

Les réseaux de neurones convolutifs ont permis d’apporter une amélioration significative des performances dans de nombreux domaines au cours des dernières années, mais leur efficacité pour la reconnaissance des formes de main dans le cadre de la reconnaissance des langues des signes n’a pas encore été suffisamment étudiée. Nous avons évalué plusieurs architectures convolutives afin d’analyser leur adéquation à ce problème.À l’aide des jeux de données LSA16 et RWTH-PHOENIX-Weather, nous avons mené des expériences avec les architectures LeNet, VGG16, ResNet-34 et All Convolutional, ainsi qu’avec Inception, entraîné de manière classique et par transfert d’apprentissage, et comparé leurs résultats aux performances de l’état de l’art sur ces jeux de données. Nous avons également inclus des expériences avec un réseau de neurones feedforward comme référence de base. Par ailleurs, nous avons exploré diverses méthodes de prétraitement afin d’analyser leur impact sur la reconnaissance.Nous avons constaté que toutes les architectures obtiennent des performances satisfaisantes sur les deux jeux de données (avec des résultats comparables aux méthodes basées sur des caractéristiques manuellement conçues), mais que VGG16 a produit les meilleurs résultats, suivie de très près par l’architecture classique LeNet. En outre, le prédécoupage des mains par rapport au fond a permis une amélioration notable de la précision.