La représentation du mouvement joue un rôle crucial dans la reconnaissance des actions humaines dans les vidéos. Dans cette étude, nous présentons une nouvelle représentation de mouvement compacte pour la reconnaissance d'actions dans les vidéos, appelée Optical Flow guided Feature (OFF), qui permet au réseau de distiller l'information temporelle par une approche rapide et robuste. L'OFF est dérivé de la définition du flux optique et est orthogonal à celui-ci. Cette dérivation fournit également un soutien théorique à l'utilisation de la différence entre deux images. En calculant directement les gradients spatio-temporels pixel par pixel des cartes de caractéristiques profondes, l'OFF peut être intégré à n'importe quel cadre existant basé sur les CNN pour la reconnaissance d'actions dans les vidéos avec un coût supplémentaire minime. Il permet aux CNN d'extraire des informations spatio-temporelles, en particulier l'information temporelle entre les images simultanément. Cette idée simple mais puissante est validée par des résultats expérimentaux. Le réseau alimenté uniquement par des entrées RGB atteint une précision compétitive de 93,3 % sur UCF-101, ce qui est comparable au résultat obtenu par deux flux (RGB et flux optique), mais il est 15 fois plus rapide en termes de vitesse. Les résultats expérimentaux montrent également que l'OFF est complémentaire à d'autres modalités de mouvement telles que le flux optique. Lorsque la méthode proposée est intégrée au cadre de référence pour la reconnaissance d'actions dans les vidéos, elle atteint des précisions de 96,0 % et 74,2 % sur UCF-101 et HMDB-51 respectivement. Le code source de ce projet est disponible à l'adresse https://github.com/kevin-ssy/Optical-Flow-Guided-Feature.