Die Gestenerkennung ist ein anspruchsvolles Problem im Bereich der Biometrie. In dieser Arbeit integrieren wir das Fisher-Kriterium in die bidirektionale Long-Short Term Memory (BLSTM)-Netzwerke und die bidirektionale Gated Recurrent Units (BGRU), was zu zwei neuen tiefen Modellen führt, die als F-BLSTM und F-BGRU bezeichnet werden. Beide fisher-diskriminierenden tiefen Modelle können effektiv Gesten klassifizieren, indem sie die Beschleunigungs- und Winkelgeschwindigkeitsdaten menschlicher Bewegungen analysieren. Darüber hinaus haben wir eine umfangreiche Mobile Gesture Database (MGD) gesammelt, die auf den Beschleunigungs- und Winkelgeschwindigkeitsdaten basiert und 5547 Sequenzen von 12 verschiedenen Gesten enthält. Um die überlegene Leistung der vorgeschlagenen Netzwerke im Vergleich zu den neuesten BLSTM- und BGRU-Modellen zu validieren, wurden umfangreiche Experimente an der MGD-Datenbank sowie an zwei Referenzdatenbanken (nämlich BUAA mobile gesture und SmartWatch gesture) durchgeführt.