Les représentations spatio-temporelles dans les séquences d'images jouent un rôle important dans la tâche de reconnaissance d'actions. Précédemment, une méthode consistant à utiliser le flux optique comme information temporelle en combinaison avec un ensemble d'images RGB contenant des informations spatiales a montré une amélioration considérable des performances dans les tâches de reconnaissance d'actions. Cependant, cette méthode présente un coût computationnel élevé et nécessite un cadre à deux flux (RGB et flux optique). Dans cet article, nous proposons MFNet (Motion Feature Network), qui intègre des blocs de mouvement permettant d'encoder les informations spatio-temporelles entre les images adjacentes au sein d'un réseau unifié pouvant être entraîné de manière end-to-end. Les blocs de mouvement peuvent être ajoutés à n'importe quel cadre existant basé sur les CNN pour la reconnaissance d'actions, avec seulement un coût supplémentaire minime. Nous avons évalué notre réseau sur deux ensembles de données de reconnaissance d'actions (Jester et Something-Something) et avons obtenu des performances compétitives pour les deux ensembles en entraînant les réseaux à partir de zéro.