La reconnaissance des gestes est un problème complexe dans le domaine de la biométrie. Dans cet article, nous intégrons le critère de Fisher au réseau Bidirectional Long-Short Term Memory (BLSTM) et au réseau Bidirectional Gated Recurrent Unit (BGRU), ce qui conduit à deux nouveaux modèles profonds nommés F-BLSTM et F-BGRU. Ces deux modèles profonds discriminants basés sur le critère de Fisher peuvent classer efficacement les gestes en analysant les données d'accélération et de vitesse angulaire des gestes humains. De plus, nous avons collecté une grande base de données de gestes mobiles (MGD) basée sur les accélérations et les vitesses angulaires, contenant 5547 séquences de 12 gestes. Des expériences approfondies ont été menées pour valider la supériorité des performances des réseaux proposés par rapport aux BLSTM et BGRU de pointe sur la base de données MGD ainsi que sur deux bases de données de référence (à savoir, BUAA mobile gesture et SmartWatch gesture).