Les nuages de points contiennent des informations spatiales riches, offrant ainsi des indices complémentaires pour la reconnaissance des gestes. Dans cet article, nous formulons la reconnaissance des gestes comme un problème de reconnaissance de séquences irrégulières, visant à capturer les corrélations spatiales à long terme au sein des séquences de nuages de points. Nous proposons un nouveau modèle efficace, appelé PointLSTM, permettant de propager l'information du passé vers le futur tout en préservant la structure spatiale. Le PointLSTM proposé combine l'information d'état provenant des points voisins du passé avec les caractéristiques actuelles pour mettre à jour les états actuels via une couche LSTM partageant les poids. Cette méthode peut être intégrée à de nombreuses autres approches d'apprentissage de séquences. Sur la tâche de reconnaissance des gestes, le PointLSTM proposé atteint des résultats de pointe sur deux jeux de données exigeants (NVGesture et SHREC'17), surpassant ainsi les méthodes précédentes basées sur les squelettes. Pour démontrer ses avantages en généralisation, nous évaluons notre méthode sur le jeu de données MSR Action3D, où elle obtient des résultats compétitifs par rapport aux approches antérieures basées sur les squelettes.