La reconnaissance des gestes chirurgicaux est cruciale pour l'évaluation des compétences chirurgicales et la formation chirurgicale efficace. Les travaux antérieurs sur cette tâche sont basés soit sur des modèles graphiques variants tels que les HMM (Hidden Markov Models) et les CRF (Conditional Random Fields), soit sur des modèles d'apprentissage profond tels que les RNN (Recurrent Neural Networks) et les TCN (Temporal Convolutional Networks). La plupart des approches actuelles souffrent généralement de sursegmentation, ce qui entraîne des scores d'édition faibles au niveau des segments. En revanche, nous présentons une méthodologie fondamentalement différente en modélisant la tâche comme un processus de prise de décision séquentielle. Un agent intelligent est formé à l'aide d'un apprentissage par renforcement avec des caractéristiques hiérarchiques issues d'un modèle profond. La cohérence temporelle est intégrée dans notre conception d'action et notre mécanisme de récompense afin de réduire les erreurs de sursegmentation. Les expériences menées sur le jeu de données JIGSAWS montrent que la méthode proposée performe mieux que les méthodes de pointe en termes de score d'édition et est comparable en termes de précision frame par frame. Notre code sera rendu disponible ultérieurement.