Reconnaissance Rapide et Robuste de Gestes de Main Dynamiques par Extraction de Frames Clés et Fusion de Caractéristiques

La reconnaissance de gestes est un sujet d'actualité dans le domaine de la vision par ordinateur et de la reconnaissance de formes, jouant un rôle essentiel dans l'interface homme-machine naturelle. Bien que des progrès considérables aient été réalisés récemment, une reconnaissance rapide et robuste des gestes de la main reste un problème ouvert, car les méthodes existantes n'ont pas encore bien équilibré performances et efficacité simultanément. Pour combler cette lacune, ce travail combine l'entropie d'image et le regroupement par densité afin d'extraire les images clés à partir de vidéos de gestes de la main pour une extraction ultérieure des caractéristiques, ce qui peut améliorer l'efficacité de la reconnaissance. De plus, une stratégie de fusion des caractéristiques est également proposée pour améliorer davantage la représentation des caractéristiques, ce qui augmente les performances de la reconnaissance. Pour valider notre approche dans un environnement « sauvage », nous introduisons également deux nouveaux ensembles de données appelés HandGesture et Action3D. Les expériences montrent constamment que notre stratégie obtient des résultats compétitifs sur les ensembles de données HandGesture et Action3D ainsi que ceux de l'université Northwestern et de Cambridge. Notre code source et nos ensembles de données seront mis à disposition sur https://github.com/Ha0Tang/HandGestureRecognition.